Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо!

Для полной уверенности попробую уточнить постановку.
Есть десять РАЗЛИЧНЫХ стимулов.
Есть десять РАЗЛИЧНЫХ откликов (программы?).
Необходимо выяснить, имеется ли статистически значимая зависимость между откликом, сделанным программой от поданого стимула.
Если моя интерпретация задачи верна - то имеем задачу выявления зависимости признаков, измеренных в номинальных шкалах.
Метод решения - коэффициент сопряженности Пирсона и его "родственники" - коэффициенты Крамера, Чупрова, Романовского etc.
Если моя интерпретация неверна - укажите, в чем я ошибся.

Vitek_22, !

Ситуация стандартная: подробность ответа зависит от подробности вопроса. Если Вам действительно хочется детально продолжить своё исследование, то опишите детально сам массив данных (фрагмент EXCEL-таблицы), какой программой, каким алгоритмом и какие признаки интерпретировали, приведите сам результат, и опишите, какова цель исследования? То есть зачем, для чего проводится это исследование? Разумеется, такие подробные описания делают лишь те участники форума, кто верит в достаточный уровень знаний и опыта остальных активных участников.

Желаю успеха!

В черном ящике пищат 5 мышей, на вход черного ящика подано 10 сигналов. На выходе имеем 50 результатов, подлежащих классификации. Прибор верно классифицировал 39 из 50 кейсов. Бесполезный классификатор (типа "угадывальщик") выдал бы долю верных ответов p=,5 (25:25). Осталось проверить гипотезу о доле: правда ли, что доля в 39/50 статистически значимо отличается от ,5. Гипотезу проверяем одностороннюю (H1: p >.5).

Программа - обучаемая нейросеть. Анализирует биопотенциалы мозга (ЭЭГ) животного в ответ на внешние стимулы. Задача - правильно интерпретировать паттерны активности ансамблей нейронов и определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, на которые нейросеть уже "надрессирована". Количество правильных овтетов нейросети я уже привёл в первом посте - все они более 50%. Стимулы предъвляются однократно. Т.е. всё что у меня есть - это число правильных интерпретаций из 10, а именно: 6,8,9,7,9. Визуально - да, работает чень эффективно. Но надо как-то стат. обработать
Спасибо откликнувшимся, пойду думать над написанным ;)


Какой критерий использовать для проверки этой гипотезы?

Критерий Стьюдента: t=(.78-.5)/sqr((.78*(1-.78))/50)=4.78. Значение соответствующей квантили ищется для интересующего уровня значимости при 48 ст.св.

Опять имеем - как тут часто пишут - "неточно описанный дизайн эксперимента".
Во-первых, имеем фразу "определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, " Таким образом, приходим к выводу, что "угадать" система должна В КАЖДОМ ИЗ ЭКСПЕРИМЕНТОВ один стимул из десяти? Т.е. вероятность угадывания в одном (каждом) опыте - 0.1
Мне кажется, что никакой речи о вероятности суммарного успеха 0.5 при угадывании в 50 опытах здесь речи идти не может.
Поэтому - еще раз, уточните пожалуйста "дизайн" эксперимента.

см. ниже

Если это была "обучающая выборка" из 5ти животных, то ответ "никакой". Единственный способ при такой маленькой выборке "метод складного ножа", на каждом шаге которого исключается из _обучающей_ выборки одно животное и сеть обученная на оставшихся четырех проверятся на исключенном.

Животных мало, потому как очень сложно их делать (имплантировать элеткроды) и больше сделать никак нельзя. Задача не угадать из 10 один верный, а в каждом из 10 стимулов этот стимул точно определить, т.е. всего 2 варианта - правильно или неправильно был интерпретирован биопотенциал. Если брать единичный стимул, то если один раз он был правильно интерпретирован, то хоть ещё 100 раз подавай - всегда будет правильно. Суть - доказать, что программа реально работает и интерпретирует стимулы, пусть и не со 100% точностью.
Жтивотных ничему не обучают, обучают софт (нейросеть), вернее, она была обучена заранее, а на этих животных она просто делает своё дело

Простите, но это слишком толсто.

Для складного ножа получатся другие данные, а эти, выходит, что получены некорректно. Можно провести такую аналогию: на примере конкретного текста учим правила языка, а потом по этому же тексту пишем диктант. Даже если диктант написан без ошибок, методологически невозможно определить почему: не то правила усвоены, не то текст запомнен. Поэтому свой пост выше удалил; к тому же, судя по отсутствию реакции, топикстартер всё равно ничего из него не понял.