Соответствие экспериментальных данных теоретической модели. Опции

[passant]

Уважаемые коллеги. Поскольку сегодня последний день лета, хотелось бы немного встряхнуть наш форум и вывести его из "дрёмы". За одно - и попросить помощи, потому как задача вроде-бы и не суперсложная, и тема сто раз рассмотренная, а вот как-то у меня ускользает и ее решения и пазл не складывается.

Итак.
Есть некоторый процесс и нам абсолютно точно известна его теоретическая модель (ну или точнее - "ожидаемая" модель, т.е. как согласно нашим предположениям должен себя вести наш процесс). Более того - известно, что эта модель линейна, т.е. y=b0+b1*x. Оба теоретических значений коэффициентов нам тоже известны.
Набираем экспериментальные данные, строим модель - самым простым и очевидным способом. В виде линейной регрессии.
Понимаем, что эта модель имеет право несколько отличаться от теоретической. А вот теперь вопрос: а можем-ли мы считать(при заданном уровне значимости, разумеется или еще лучше - на основе полученного p_value некоторого критерия), что наши экспериментальные данные действительно есть данные, сгенерированные нашей теоретической моделью с соответствующими шумовыми отклонениями?
Как ответить на этот вопрос?

Первая идея, которая пришла в голову - строить доверительные интервалы для коэффициентов регрессии и смотреть, входят ли коэффициенты теоретической модели в эти интервалы. Похоже (?) что этот подход не катит, хотя-бы потому, что точечные оценки регрессионной модели нельзя считать независимыми случайным величинами. Кроме того, если прикинуть, то получается, что построенные таким образом две прямые (теоретическая и регрессионная) даже при сколь угодно малых различиях в коэффициенте b1, рано или поздно разойдутся на плоскости сколь угодно далеко, и следовательно оценку можно проводить только при четко оговоренных ограничениях на значения х.
Вторая идея - посчитать Стандартную ошибку регрессии, отложить ее параллельно регрессионной прямой и посмотреть, не пересекает-ли теоретическая прямая эти границы - но снова, внутри некоторого интервала значений оси Х. И если наши экспериментальные данные все (?) лежат внутри этого интервала - удовлетвориться. Ну а если не все? Считать это выбросом? А на каком количестве таких "выбросов" отклонить исходную гипотезу? В общем- тут много неясностей.
Третья идея - строить доверительную область для регрессии (ввиду разной встречающейся терминологии - ту область, границы которой имеют форму сужающейся-расширяющейся "трубки" вокруг линии регрессии). Вот тут возможна ситуация, когда теоретическая прямая будет всегда располагаться внутри этой "трубки" (за счет указанной ее формы). Но для этого оба коэффициента (и именно их комбинация, а не по отдельности каждый) должны удовлетворять некоторым требованиям. И проверять именно этот факт, т.е. гипотезу "теоретическая прямая не пересекает границы доверительной области линии регрессии".
Возможно, существуют варианты решения без построения модели регрессии, а просто по сравнению теоретической прямой и экспериментальных данных. Просто ошибку эксперимента относительно теоретической модели считать? Ну так посчитать-то можно, и она всегда будет не минимальной. А как принять решение об отклонении или принятии гипотезы? Что-то в голову не приходит, а каким критерием тут можно было бы воспользоваться?
В общем, задача заключается в том, что-бы ответить не вопрос - а могли-ли (в статистическом смысле) экспериментальные данные представлять собой зашумленную реализацию теоретической модели?
Буду благодарен уважаемому сообществу если вы покритикуете представленные пути решения и/или предложите другие.

Сообщение отредактировал passant - 31.08.2022 - 20:44

[ИНО]

Там истинность процесса, порождающего данные, не подвергается сомнению

Если так, то зачем нужна статистика? Тут в область религии надо копать. Но все ж рискуну предположить, что не так, и ТС таки не страдает догматизмом, а хочет проверить теоретическую модель и, возможно, улучшить ее.

В частности, отсутствует априорная информация о вероятностях гипотезе оказаться истинной/гипотезе оказаться ложно

А откуда байесисты вообще эти параметр обычно берут? Как раз мое полное непонимание природы этого трансцендентного источника знаний и положило конец моим попыткам въехать в байесовскую статистику. Так что, звиняйте, если какую глупость написал, ибо уровень моих познаний в этой области так и остался окуолонулевым. Что, если априорная доверительная вероятноть равна 1, то с этим сделать уже ничего нельзя, только в морг? А если 0,999999999?

Похожая ситуация рассматривается в критерии Брауна - Муда (Brown, Mood, 1950). Там тоже для парной линейной регрессии есть коэф-ты константы и наклона, претендующие на истинность, и [b]требуется доказать, что это так и есть.

Так и написано: "доказать"? Или таки "проверить гипотезу"? Потому как доказывают, железно и навсегда разве что теоремы. Можно ссылку на эту статью? А то я только критерий Муда - Брауна знаю, а он о другом. Что касается фамилий этих ученых мужей в связи с линейной регррессией, то все, что выдал Гугл, - оценка неизвестного параметра наклона - тоже немного не то.

[passant]

Можно ссылку на эту статью? А то я только критерий Муда - Брауна знаю, а он о другом. Что касается фамилий этих ученых мужей в связи с линейной регррессией, то все, что выдал Гугл, - оценка неизвестного параметра наклона - тоже немного не то.

Проверяется гипотеза адекватности регрессии или пригодность выбранных ко-
эффициентов линейной регрессии. Есть у Кобзаря на стр. 653. - 5.3.1.1.3.1. Медианный критерий Брауна-Муда.

Кстати, очень интересный поворот.
Я попытался найти первоисточник информации о том, что обычный медианный критерий Брауна-Муда используется в разрезе упомянутой мною задачи. А именно : имеются априорные значения коэффициентов b0 и b1, имеется набор реальных значений {уi} и требуется ответить на вопрос относительно гипотезы "{уi} порожден моделью b0+b1*xi ".

Мне удалось найти вроде-бы первоисточник, на который ссылаются все остальные - по крайней мере русскоязычные - статьи и работы. Таким первоисточником есть известная книга-справочник Кобзаря, где отдельно указан и просто медианный критерий Муда (как аналог "F-статистике Фишера, когда вместо наблюдений используются их ранги. "), так и совершенно отдельный, в другом разделе, на стр. 653 критерий, о котором мы и говорим. Даже с уточнением, что исследуются остатки между реальными и модельными значениями и оценивается факт того, что медианы этих остатков для половины меньших значений и для половины больших значений х равны.
Но я не только нашел, я еще и попытался разобраться, что же там написано. К моему большому удивлению, хотя в справочнике есть аж две модификации этого критерия, описан этот метод весьма поверхностно, нетипично для данного справочника, без раскрытия всех обозначений и без таблицы распределения, которому данный критерий должен соотноситься (хотя два невесть как взявшихся вроде бы из этой таблицы значения для примера приведены). Естественно, как из одного варианта критерия получен другой - тоже ни слова.
Нет там и информации о том, как приведенные формулы выводятся из "общего медианного критерия Муда"(а они весьма отличны между собой).
Но зато есть отсылка к вроде-бы базовой работе, а именно, работе "Brown G. W., Mood A. M. On median tests for linear hypotheses // Proc. of the Second Berkeley Symp. on Math. Stat. And Prob., Univ. of Calif. Press., 1950. P. 159-166. " (Очевидно, это та работа, на которую ссылается уважаемый 100$)
Я дотошный, я нашел эту работу в сети: https://digitalassets.lib.berkeley.edu/math..._article-12.pdf И к огромному удивлению обнаружил, что в ней нет ни описанного у Кобзаря критерия, ни в одной из модификаций, ни требуемой таблицы, вообще ничего, что может послужить для решения задачи.
При этом поиски в англоязычном сегменте интернет ответа на вопрос о применении медианного критерия к задаче анализа остатков регрессионной модели - тоже к успеху не привели.

В общем, если у кого есть более достоверная информация по вопросу - буду благодарен за соответствующие ссылки.
P.S. На всякий случай, я не оспариваю формулы, приведенные у Кобзаря. Я пытаюсь разобраться, как они получены, какие ограничения на их использования, когда какую из двух лучше применять и пр.

Сообщение отредактировал passant - 6.09.2022 - 15:38

[100$]

-> ИНО

Слегка перефразируя классику: Приезжайте к нам в Одессу, спуститесь по Ришельёвской лестнице, зайдите на Привоз, купите там гуся и ему сношайте мозги. А мне их не надо сношать.

Это, вообще-то, основа основ в статистике: выдвигается гипотеза (в данном случае - модель DGP), и под нее собирается эксериментальный материал.

-> passant

passant, не в службу, а в дружбу: объясните же, наконец, товарищу, почему Володька сбрил усы.

Однако.
Да, это та статья. Вот за это хвалю ).

В Кобзаре ясно написано, что первый вариант (статистика А) имеет хи-квадрат распределение с df=2. Это -раз. Правда, что такое S- действительно неясно.

Кобзарь, видимо, в отличие от уважаемого вас - доктор тех. наук и совершенно правильно применил то, о чем прочитал в статье, к парной линейной регрессии.
В монографии Муда (?2 в списке литературы обсуждаемой статьи) на с. 521-522 есть кое-какие подсказки. Это - второй раз.

Правда, как осуществлена мутация модификация критерия А в А*- неизвестно. Допускаю, что это - личный вклад Кобзаря в науку.

Глядя на статистику А* мне примнилось, что критические значения 2,237 и 2,806 соответствуют либо хи-распределению (которое при df=2 называется распределением Рэлея), либо распределению модуля многомерной нормальной величины (которое при m=2 тоже является распределением Рэлея). Оказалось, что ничего подобного. Так что я пока в затруднении.

Что же касается всего остального - то
"Кажется,я задремал, а между тем все, что вы тут сказали, было очень интересно" (с) реплика Портоса в "20 лет спустя".