Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Критерий Акаике
Pinus
сообщение 22.06.2010 - 23:17
Сообщение #1





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Знатоки-форумчане, подскажите, в какой книге(ах) можно основательно почитать про критерий Акаике (если можно на русском; если на английском, то поделитесь пожалуйста ссылкой, где скачать, а то на англоязычных сайтах пока тяжковато ориентироваться). В каких бесплатных программах этот критерий можно рассчитать? Задача в общем наверно несложная. Есть выборка в 1000 измерений. И судя по диаграмме рассеяния парабола более адекватна. А общепринятая функция прямая. Вот надо вооружиться статистическим обоснованием от вопросов маститых ученых.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 23.06.2010 - 07:29
Сообщение #2





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(Pinus @ 23.06.2010 - 00:17) *
Знатоки-форумчане, подскажите, в какой книге(ах) можно основательно почитать про критерий Акаике (если можно на русском; если на английском, то поделитесь пожалуйста ссылкой, где скачать, а то на англоязычных сайтах пока тяжковато ориентироваться). В каких бесплатных программах этот критерий можно рассчитать? Задача в общем наверно несложная. Есть выборка в 1000 измерений. И судя по диаграмме рассеяния парабола более адекватна. А общепринятая функция прямая. Вот надо вооружиться статистическим обоснованием от вопросов маститых ученых.

Формулу для критерия Акаике найти несложно. Сложно то, что в нее входит оценка функции максимального правдоподобия, которую придется выписать для конкретной задачи. Т.е. такая постановка - посчитать критерий Акаике, в отрыве от сути задачи, некорректна. Как со всем этим обращаться, в качестве примера могу порекомендовать раздел "Подбор распределения" в справке "Анализ выживаемости" ПО AtteStat - написал бы здесь, но много формул, да и задача у Вас немного иная, более простая. С помощью данного критерия там решалась задача выбора наилучшей, для представленных данных, теоретической функции распределения из нескольких функций распределения, обычно применяемых к таким данным.

Указаны также источники, как правило, доступные в Интернете.

Для сравнительной оценки моделей также применяются коэффициент детерминации (обычно) и критерий Дарбина-Уотсона. К трудности последнего относится то, что распределение его статистики зависит от модели, но можно сделать и грубые выводы на основе пороговых значений. Данная статистика обсуждалась на форуме (Вы даже были инициатором темы).

Сообщение отредактировал Игорь - 23.06.2010 - 07:40


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 23.06.2010 - 08:52
Сообщение #3





Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Цитата(Pinus @ 23.06.2010 - 00:17) *
Знатоки-форумчане, подскажите, в какой книге(ах) можно основательно почитать про критерий Акаике (если можно на русском; если на английском, то поделитесь пожалуйста ссылкой, где скачать, а то на англоязычных сайтах пока тяжковато ориентироваться). В каких бесплатных программах этот критерий можно рассчитать? Задача в общем наверно несложная. Есть выборка в 1000 измерений. И судя по диаграмме рассеяния парабола более адекватна. А общепринятая функция прямая. Вот надо вооружиться статистическим обоснованием от вопросов маститых ученых.

Если в большинстве случаев общепринятая функция прямая - надо использовать прямую. Причин две - 1) Ваши результаты будут не сравнимы с тем, что делают другие, что полностью перечеркивает любые преимущества от использования более точной модели. Тем более, что принцип парсимонии (бритвы Оккама) утверждает, что линейная функция всегда лучше криволинейной; 2) А кто сказал, что модель будет более точной? У Вас выборочные результаты, на которых кажется, что парабола лучше. Разве это не может быть ошибкой выборки? (тогда уж надо случайным образом делить выборку на две части, на одной делать модель, на другой - проверять и смотреть, что там будет лучше - парабола или какая другая функция).
И вообще, это простая задача выбора трансформации для модели, т.е. задача подбора модели, соответственно, надо использовать не только AIC, но и BIC, а также посмотреть изменение функции правдоподобия при изменении формы кривой (без коррекций).
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 23.06.2010 - 09:25
Сообщение #4





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



http://www.statsoft.ru/home/portal/exchange/akaike.htm

Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 23.06.2010 - 10:05
Сообщение #5





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(DrgLena @ 23.06.2010 - 09:25) *

Из статьи по ссылке:
" ... Дополнительным доводом в пользу такого выбора спецификации может служить значение скорректированного R2, которое является наибольшим из всех рассматриваемых".

Вот именно. Так стоило ли все это делать, если можно было просто посчитать коэффициент детерминации (исправленный, в AtteStat он тоже применяется) и, поступая формально, взять модель с наибольшим коэффициентом? Вроде бы все хорошо. Но формально - не всегда правильно с физической точки зрения. Поэтому статья не понравилась совершенно - как и все опусы от STATISTICA, она дает не знание, а создает у читателя иллюзию знания. Подгонка полиномом высокой степени всегда настораживала: регрессионная модель ведь составляется не для того (по крайней мере, не только для того), чтобы провести красивенькую гладкую кривую между экспериментальными точками (для этого просто берете скользящее среднее), а и для прогноза. Каков будет прогноз с помощью такого полинома? Вспоминается пример: один очень уважаемый ученый показал в работе (это был доклад на конференции физиологов) некоторую формально полученную формулу (выбрав из многих наилучшую, примерно как в цитируемом опусе) зависимости длины пальцев руки в зависимости от возраста. Я увидел эту работу, поставил возраст 85 лет (бывает ведь такой, хотя в России и редкость) и показал коллеге результат - длина пальцев получилась 1,5 метра.

В-общем, я потому и остановился в своем первом ответе на несколько иной сфере применения критерия Акаике (там, где его применение крайне адекватно) и предостерег о возможных сложностях в рассматриваемой задаче.

Сообщение отредактировал Игорь - 23.06.2010 - 10:22


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 23.06.2010 - 10:40
Сообщение #6





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Я сознательно оставила эту ссылку без комментария, автор поста легко возьмет из нее то, что ему нужно. Мы с вами помним (плав отсутствовал) характер данных pinus. Не обязаны деревья расти прямолинейно, даже если другие авторы много лет так считают. У автора есть достаточно данных, чтобы доказать что это не так. Указанной в ссылке программки Akaike.stb у меня нет, но ручной расчет не сложный, кроме того есть специальные средства:
http://graphpad.com/quickcalcs/AIC1.cfm
Вопрос был, где почитать на русском и как применить конкретный критерий, а не чем заменить.
Игорь, Ваш пример про пальцы замечательный, про это нельзя забывать при любых регрессионный моделях.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 23.06.2010 - 15:39
Сообщение #7





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(Игорь @ 23.06.2010 - 15:29) *
Формулу для критерия Акаике найти несложно. Сложно то, что в нее входит оценка функции максимального правдоподобия, которую придется выписать для конкретной задачи.

Формула мне попалась у Коленикова С. Описано кратко и собственно поэтому и возник вопрос. Имел ввиду, в том числе и теоретический аспект. В чем суть критерия, для каких задач применяется, каковы плюсы и какие имеются подводные камни.
Я со всеми Вами абсолютно согласен на счет формального использования уравнений, критериев и вообще статистики. У меня хоть пока и небольшой опыт анализа данных, но с этой проблемой столкнуться приходилось. Повышая R2 увеличением степени полинома, можно дойти до очень больших загогулин... Поэтому это конечно не тот подход. Также приходилось читать, что включением дополнительных параметров в уравнение можно добиться увеличения R2 в некоторых случаях вплоть до единицы.
Почему глаз упал на Акаике? - говорят распространенный в таких случаях критерий и читал, что он выдерживает некий баланс между адекватностью модели исходным данным и количеством включаемых в анализ переменных.
Спасибо всем за советы и ссылки. Поработаю.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему