Во, это то, что я сейчас пытаюсь делать. И возникает куча проблем, начиная с того, что материалов именно по различию коэффициентов регрессии очень мало, а во-вторых, еще не нашел двух источников, которые бы приводили к одинаковым формулам, еще бы и не содержали опечатки :-). Пытаюсь через этот лес продраться.
Ну и еще на тему регрессии хочу посмотреть в сторону критерия Чоу, подсмотренного у эконометриков. Может там тоже кое-что окажется интересным.

Его я тоже упомянул выше. Но он не для всех задач подходит. Например, во временнЫх рядах его применение возможно, но несколько затруднено. И там как раз может лучше работать некий критерий, анализирующий коэффициент автокорреляции, или критерий основанный на сравнений регрессий. Точно так-же есть и другие области, где классические критерии хотя и применимы, но с определенными оговорками. Поэтому и хочется "попробовать" чего-то новенького. И есть задумки, что делать с ними потом - но пока вот "набираю базу алгоритмов". (Читать справочник Кобзаря - не предлагать. Уже прочел :-) )

Вполне. Так же как и при неотличимых средних или дисперсиях. Но это не отменяет необходимости иметь в наборе инструментов различные тесты, которые будут реагировать на статистически различимые неоднородности.

Не, это не катит.
"Речь не про среднее, дисперсию и прочие "легкие" темы. " Такие критерии есть классика, и с ними все понятно. Интересует именно автокорреляция, коэффициенты регрессии, возможно - коэффициенты моделей Брауна-Хольта-Винтерса, моделей ARIMA, показатель Хёрста (не к ночи будет сказано :-) и т.д. Кстати, даже сравнение отличии скоса и эксцесса. Сравнение энтропий может оказаться полезным. Ну и что-нибудь новенькое и более надежное, чем Колмогоров-Смирнов и аналоги для непосредственного сравнения распределений.

Спасибо большое. Это уже - направление.
Единственная проблема, что мои задачи надо решать в режиме он-лайн, причем скорость поступления данных весьма высокая - в некоторых вариантах "тики" могут представлять собой секунды, а время накопления выборки - минуту. Поэтому получится-ли применить МК-подход или нет - пока не знаю. Но буду разбираться. Еще раз спасибо.

Что то наш форум как-то подозрительно затаился. Неужели это все? Или просто реакция на COVID?
Сделаю еще одну попытку его реанимировать, тем более реально считаю этот форум одним из наиболее компетентных в данной сфере на просторах русскоязычного интернет.
Итак.
Предположим, что мы делаем сначала точечную оценку некоторого статистического параметра на разных выборках. Речь не про среднее, дисперсию и прочие "легкие" темы. А например про более сложные случаи - например получаем коэффициент автокорреляции двух временных рядов (разумеется, для каждого отдельно), или оценки коэффициентов регрессии (получаем два набора коэффициентов).
Итак имеем два статистических параметров. Нам надо ответить, можно-ли считать, что выборки были взяты из одной генеральной совокупности.
Что-бы ответить на этот вопрос можно задаться уровнем значимости, построить два доверительных интервала и проверить, пересекаются-ли они. Сразу-же возникает вопрос, а как оценить вероятность такой ситуации. Не просто ответить, что да, такая ситуация возможна, а выяснить с какой именно вероятностью она может возникнуть.
Возможно кто либо встречал "прямое" решение данной задачи, т.е. анализ непосредственно закона распределения для разности указанных параметров и нахождения p_value аналогично тому, как это делается в традиционных алгоритмах проверки гипотез однородности на основе средних, медиан, рангов и пр.

Буду благодарен на любую информационную "наводку" или хотя-бы указания направления, куда "рыть" дальше.

И всех, кто еще заглядывает на этот форум - с прошедшими праздникам! Пусть всякие Ковиды не портят вам настроения!

Спасибки : :
Оно!!! Как один из вариантов. Но где поток (ну хотя-бы ручеек) соответствующих русскоязычных работ на эту тему?


С этим - интереснее, но вне рамок этого вопроса. Тут вопрос стоит - у вас есть N параметров одного объекта. Они изменяются во времени, случайным образом. Но если вдруг чего-то происходит в объекте (в медицине - пациент заболел, в экономике - приняли новый закон, в техмониторинге - отвалился болт крепления и пр.) все или некоторые из этих параметров меняются статистически значимо. Можно-ли (вне рамок, например, методов кластеризации) получить единый критерий и по его p-value давать соответствующий сигнал. Еще интереснее, если одни параметры мы анализируем одним набором критериев, другие - другим (например - они измерены в разных типах шкал) и хочется найти способ объединенного анализа. А еще забавнее, когда можно что-то сказать о семантической (прикладной) важности изменения каждого из параметров.
Критерий Смирнова - он понятен, но, например, если данные по параметрам даны в виде временного ряда, то есть критерий обнаружения изменения автокорреляции. Не уверен, что критерий Смирнова его обнаружит.
Или что делать, если вдруг критерий Смирнова, хи-квадрат и Крамера-фон Мизеса дают несогласованные значения p-value? Когда включать сирену тривоги?
Но это, конечно - другая большая тем.
За ссылочку - еще раз спасибо. Именно ее я проглядел

Спасибо, но тут вы немного ошибаетесь. Впервые такие тесты были описаны в
Cucconi O. Un nuovo test non parametrico per il confronto tra due gruppi campionari. Giornale Degli Economisti. 27 (3/4), 1968: 225?248
Lepage Y. A Combination of Wilcoxon's and Ansari-Bradley's Statistics. Biometrika, vol. 58, no. 1, 1971, pp. 213?217.
И конечно, за последние годы многократно обсасывались с разных сторон, улучшались, модифицировались и анализировалось.
Так что новыми эти подходы никак назвать не получается. Что делает вопрос об отсутствии источников на русском тем более странным.

И еще, приведенный в вашем источнике подход, хотя и лежит "в русле", но немного отличается. То, что написано в вашей статье - это объединение результатов (как правило - p-values) набора тестов в единый обобщающий результат. А вот второе направление - это создание тестов, способных сразу выработать единый p-value. Оба подхода (а есть еще и другие) имеют право на жизнь, имеют свои плюсы и свои минусы и могут оказаться эффективными в своих прикладных нишах.

Спасибо, но это точно не то. Гипотеза о сдвиге местоположения как и гипотеза об изменении размаха (по отдельности) - это вполне понятная, классическая(из учебника) и хорошо проработанная тема, тут не о чем и говорить. А вот "location-scale test" - это тест ОДНОВРЕМЕННО проверяющий эти две гипотезы. И в этом его фишка. Есть разновидности и с тремя тестами, и с другими гипотезами. Но НИЧЕГО не могу найти на русском. Это конечно не критично, хватает информации и на английском. Но вопрос - а почему нет на русском? Склоняюсь к мысли, что неправильно формулирую поисковый запрос ввиду неправильного перевода термина. Или все-таки на просторах бывшего СНГ эта тема почему-то "не модна"?

Уважаемые коллеги. Кто нибудь встречал хоть что-то русскоязычное на тему "location-scale tests". Вижу множество статей на английском. Постоянно, примерно с 2001 года количество публикаций растет. Есть публикации и чисто статистические, и экономические, и медицинские. А на просторах русскоязычной научной мысли - тишина. Впрочем, допускаю, что этот термин у нас как-то по хитрому перевели, и я просто не могу догадаться как. Кто-нибудь в курсе? Заранее спасибо за "наводку".

Какая незатейливая реклама!
Неужели у центра все так плохо, что нельзя просто заказать платный банер, повесить его и спокойно собирать клиентов.
Неужели центр считает всех посетителей сайте полными идиотами, неспособными отличить рекламу от нормальных сообщений.
Я точно никогда не буду клиентом центра, но даже если бы у меня возникло такое желание, столь низкопробная реклама меня бы просто оттолкнула.
Неужели врачи мыслят по другому?
P.S. potap_O - кстати, вы к своему дяде "медицинскому директору и проверщику поступаемых диссертаций" так и не обратились за прошедшее время? Решили лучше отдать деньги "чужому дяде", чем общаться со своим родненьким? Высокие отношения!

Не, я просто устрашился попасть в руки такому врачу, еще и целому кандидату наук. И начал подозревать, почему некоторые люди предпочитают идти сразу к знахарям.

он медицинский директор, и проверщик поступаемых диссертаций. И перегружен своей работой, поэтому по конкретным базам данных и не может уточнять методы статистического анализа.
Настолько перегружен, что ознакомиться с вашей работой и ее раскритиковать успел, а вот "уточнить" метод анализа нет?? Просто дать название или ссылочку?? Родной племяннице? Жесть.

P.S. Если бы так: "проверщик поступаемых диссертаций" и "медицинский директор перегруженный своей работой" писал бы школьник средних классов - это бы меня повеселило. Если бы нечто подобное написал мне мой студент - я бы засомневался в его адекватности. Но кандидат в кандидаты медицинских наук??? Жесть в квадрате.

Ну, я специально тут молча постоял в сторонке, пока шло обсуждение. И я рад, что суммарная рекомендация, которая выработалась в ходе дискуссии практически совпало с тем, о чем я вам говорил на другом форуме.
Держите нас в курсе своих изысканий, будет интересно.
И лучше на этом форуме. Тут вас, конечно, побъют сильнее , зато и профессиональнее, а значит - полезнее для дальнейшего научного опыта.

Жаль, пропустил.


У меня тоже сложилось такое же впечатление. Но

в надежде на "а вдруг все таки нет". Ошибся, признаю.



Очень надеюсь, что нет. В "той" теме искренне описал свое отношение к этому форуму. И будет очень-очень жаль, если "фсё".

Кстати, с появлением короновируса на других форумах, особенно английских, наблюдался взрывной интерес к статметодам обработки информации касаемой этой проблемы. Ожидал, что и тут появится что-то интересное. Но нет. Это что - показатель состояния современного состояния мед. статистики на постсоветском пространстве?

Нет, коллеги. В данном случае - вы ошибаетесь. Это действительно вопрос, который сначала фигурировал на другом форуме и судя до форме его представления и ответах на вопросы -ТС действительно интересуется вопросом, просто еще не столь глубоко в теме, что-бы его корректно задать (ну что поделать, результаты активного маркетинга различных ускоренных курсов и прочего "с нуля до профи за 7 дней"). Но на мой взгляд помочь ТС, дать ему различные вИдения, в конце концов "наставить его на путь истинный" области МL - я считаю, это где-то наш долг. Поэтому и отвечаю по четвертому кругу. Я свое мнение ему уже высказал. Если будет ваша добрая воля и желание ТС - будет даже интересно узнать и ваше мнение на предмет.
А вот что-до " как скоро в этой теме появится один из бесчисленных клонов.... " я ожидал этого "явления" в соседней теме про анализ СOVID-19. Но, видать спугнули :-)

Уважаемый smeilz.

Что-то вы начинаете "путаться в показаниях". На другом форуме вы пишете:
Есть датасет с одним бинарным признаком(зависимой переменной) 0 или 1. Распределение 57/43
На этом:
Есть очень большая выборка для бинарной классификации. Нужно предсказать 2 класса(0/1)
Это как бы две совершенно разные задачи. В одном случае - обучение с учителем (т.е. датасет с признаком) , в другом - обучение без учителя (признака изначально нет).

Кроме того, вы так и не пояснили, что означает
поведение предсказываемых классов будет существенно отличаться.
как вы себе представляете "поведение класса"? В чем оно у час выражается?
Что такое "сегмент" и чем он в вашем представлении отличается от "класса". Подчеркну - "предсказываемых классов" ??

Что означает
Как грамотно найти эти сегменты и поделить выборку для дальнейшего предсказания?
Если вы разбиваете выборку на то-ли сегменты, то-ли классы, то что вы собираетесь предсказывать дальше?

Про кластеризацию, и ее возможное использование как предварительный этап классификации вам сказали что тут, что там. Но ясности как не было, так и нет.
И я еще раз повторю:
Поставьте четко задачу, а то создается все более уверенное впечатление, что вы вообще не очень понимаете, а что в итоге вам надо?

А я математик, а не "д.м.н". Правда, математик я "прикладной", но то таке. И как я понимаю, этой фразой вы пытаетесь меня унизить - т.е. есть великие "д.м.н", к которым за советом даже обратиться страшно, а есть какие-то "математики", которые - ну что о них вообще там думать, они ведь на столько тупы, что не понимают, что "COVID-19 очень опасная болезнь"


Я рад за вашего дядю, но думаю, что у многих завсегдатаев этого форума первая буква в их научных регалиях, то-же "д". Но даже если она и "к.", и даже если ее вообще нет, и не все они АЖ "эксперты ВАК", но люди, которые пользуются авторитетом и в офф-лайн сообществе и на этом зубастом форуме. И в отличии от вашего уважаемого дяди, который сквозь зубы цедит свое высочайшее мнение и не снисходит до его разъяснения черни, тут иногда дают такие советы, в том числе по математике и статистике, которые нигде по русскоязычных просторах интернета вы больше не получите.
И это с точки зрения общественной пользы - это на много выше, чем какие-то заскорузлые мнения какого-то там ВАКа.


Как говориться,спасибо и вам на добром слове. Чего пожелаете другим, то - часто - возвращается и вам. С сторицей. Это не я, это народная мудрость так гласит.


Потому что вам никто ничем не обязан. Впрочем, а ваш великий дядя - он тоже не понимает опасности COVID, раз не пожелал рекомендовать вам производить (!!!!!) продуктивные (!?!?!) методы анализа?

Но вообще-то непонятно, чего вы хотите услышать-прочитать на форуме? Перечень "продуктивных" методов? Так они в любом учебнике по (мед)статистике для студентов какого-то там курса. Берем, читаем, разбираемся, натыкаемся на непонятку, приходим на форум С КОНКРЕТНЫМ вопросом и получаем СУПЕРКВАЛИФИЦИРОВНАНЫЙ ответ. На худой конец - выложите куда-нибудь вашу диссертацию, может у кого будет пару свободных часов, настроение и вдохновение, что-бы по примеру вашего дяди прочитать и раскритиковать вашу роботу, но в отличии от него - еще и что-то дельное подсказать. А как давать рекомендации относительно того, что никто кроме вас и вашего дяди не читал? Или вам тут кратко изложить методы многомерного анализа в трех параграфах? Или расчет доверительных интервалов для вас представляют непреодолимые трудности? Фраза "как можно сделать такие результаты." - я вообще возьму себе в загашник, буду ею пугать студентов.

Я тут общаюсь на нескольких форумах, которые вокруг статистики, машинного обучения и пр. Русско- и не только - язычных. Не знаю, как про опасность COVID - это путь врачи решают, но про вредное воздействие карантина на интеллектуальный уровень задаваемых на форумах вопросов - тут действительно впору скоро диссертации писать.

Вы думаете, что за прошедшие два года наука продвинулась так далеко, что предыдущие советы-мнения утратили свою актуальность? Отнюдь. И по сути, добавить-то больше нечего. Попробуйте все-таки разобраться, а вот если что конкретное по дороге станет преградой - давайте думать вместе, как ее преодолеть.
А "подробно описать", так, что-бы ее понял тот, кто за два года не нашел времени разобраться - это надо написать пару десятков, а может и больше страниц объяснений. Только обидно. что потом вы опять пропадете на два года и вернетесь с очередной просьбой "объясните мне все".

Что-бы немного развлеч достопочтенную публику и немного оживить наш форум, а так-же используя предложенную задачу нахождения "среднего представителя популяции" - вот вам легкое вечернее чтиво:
"Используя данные замеров с 4063 пилотов, Дэниэлс вычислил среднее значение по 10 физическим характеристикам, которые считались самыми важными для дизайна, включая рост, окружность грудной клетки и длину рукава. Так он получил размеры ?среднего пилота?, каким исследователь считал такого, чьи параметры входят в средние 30% диапазона значений по каждому параметру. Так что, например, когда после вычисления получился точный средний рост 175 см, Дэниэлс определил для ?среднего пилота? рост от 170 до 180 см. Затем он тщательно, одного за другим, сравнил каждого отдельного пилота со средними значениями.

До этого момента общепринятым мнением среди коллег-исследователей из ВВС было, что абсолютное большинство пилотов впишутся в средний диапазон по большинству параметров. В конце концов, лётчики изначально проходили предварительный отбор, чтобы соответствовать средним параметрам. (Например, если ваш рост 200 см, то вас никогда не возьмут в лётчики в первую очередь). Учёные предполагали, что значительное число пилотов будут соответствовать среднему диапазону по всем 10 параметрам. Но Гилберт Дэниэлс был поражён, когда определил истинное число таких пилотов.
Ноль! Из 4063 пилотов ни один человек не соответствовал среднему диапазону по всем 10 параметрам. У одного были руки длиннее среднего и ноги короче среднего, у другого могла быть широкая грудь, но маленькие бёдра. Что ещё более поразительно, Дэниэлс выяснил, что если взять всего три из десяти параметров размера ? например, окружность шеи, окружность бедра и окружность запястья ? менее 3,5% лётчиков соответствовали средним параметрам по всем трём показателям. Выводы Дэниэлса были ясными и неопровержимыми. не существовало такого понятия как средний пилот. Если вы проектируете кабину для среднего пилота, то в реальности она не будет подходить ни для кого."

Часто привожу этот пример своим студентам, когда подробно разбираем понятие "среднего по выборке". А чтение - легкое и познавательное. И там есть еще ряд забавных фактов (про идеальную девушку, в частности ) . На досуге - почитайте.

По-моему, то, что вы описали есть типичнейшая задача кластерного анализа. Зачем изобретать что-то новое, если имеются десятка три разных методов ее решения. Причем там есть группы методов, для которых ни корреляция признаков особо не важна, ни даже форма кластера в признаковом пространстве. Это, коненчо, если у вас есть выборка, в ней несколько типичных групп, но каких вы не знаете.
Если же вы знаете группы заранее, просто хотите найти "типичные" для них - то эта столь же типичная задача классификации. Правда там главный вопрос - не сам типичный элемент, а к какой группе потом относить новые, неизвестные ранее элементы.
Обе задачи имеют не только стандартные решения, но и -уже - стандартные, готовые реализации. Что в R, что в Python. Просто берете и применяете. За одно можно лЁгко поэкспериментировать и с расстояниями, если очень хочется, и к количеством кластеров (если оно не известно или не очевидно, а часто так и бывает). И параметры могут быть измерены в разных шкалах - от интервальной и абсолютной до ранговой или номинальной, и в любых их комбинациях.

Если действительно, есть данные только по средним значениям и ничего более, то ничего более вы сделать не можете. Даже не можете выяснить, отличаются-ли выборочные значения между собой значимо.

.....

Спасибо, конечно. Если вы про книгу Sumeet Dua и Xian Du, то я ее конечно читал. С тех пор (с 2011) года вышло еще несколько очень приличных книг по теме. И приходиться постоянно держать руку на пульсе. Поэтому если что кому надо из книг по статистике, ML, DataScience, Deep Lerning - можете обращаться, чем смогу помогу (и Боже упаси при этом нарушить авторские права ) . Что такое \"БИОМЕТРИКА\" я не понял, но если это тот-же сайт, что и не несколько постов выше - то спасибо, я уже писал, что \"вынес\" с того сайта все, что мне может быть новым и интересным. ::

В данный момент я занимаюсь вопросами применения методов ML в Cybersecurity.