Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Угадал или правильно интерпретировал
Vitek_22
сообщение 9.06.2017 - 00:15
Сообщение #1





Группа: Пользователи
Сообщений: 17
Регистрация: 7.12.2012
Пользователь №: 24440



Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
passant
сообщение 9.06.2017 - 10:32
Сообщение #2





Группа: Пользователи
Сообщений: 231
Регистрация: 27.04.2016
Пользователь №: 28223



Цитата(Vitek_22 @ 9.06.2017 - 00:15) *
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо!

Для полной уверенности попробую уточнить постановку.
Есть десять РАЗЛИЧНЫХ стимулов.
Есть десять РАЗЛИЧНЫХ откликов (программы?).
Необходимо выяснить, имеется ли статистически значимая зависимость между откликом, сделанным программой от поданого стимула.
Если моя интерпретация задачи верна - то имеем задачу выявления зависимости признаков, измеренных в номинальных шкалах.
Метод решения - коэффициент сопряженности Пирсона и его "родственники" - коэффициенты Крамера, Чупрова, Романовского etc.
Если моя интерпретация неверна - укажите, в чем я ошибся.

Сообщение отредактировал passant - 9.06.2017 - 10:35
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
leo_biostat
сообщение 9.06.2017 - 10:54
Сообщение #3





Группа: Пользователи
Сообщений: 105
Регистрация: 23.11.2016
Пользователь №: 28953



Цитата(Vitek_22 @ 9.06.2017 - 00:15) *
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо!


Vitek_22, hi.gif!

Ситуация стандартная: подробность ответа зависит от подробности вопроса. Если Вам действительно хочется детально продолжить своё исследование, то опишите детально сам массив данных (фрагмент EXCEL-таблицы), какой программой, каким алгоритмом и какие признаки интерпретировали, приведите сам результат, и опишите, какова цель исследования? То есть зачем, для чего проводится это исследование? Разумеется, такие подробные описания делают лишь те участники форума, кто верит в достаточный уровень знаний и опыта остальных активных участников.

Желаю успеха!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 9.06.2017 - 13:22
Сообщение #4





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Vitek_22 @ 9.06.2017 - 00:15) *
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо!


В черном ящике пищат 5 мышей, на вход черного ящика подано 10 сигналов. На выходе имеем 50 результатов, подлежащих классификации. Прибор верно классифицировал 39 из 50 кейсов. Бесполезный классификатор (типа "угадывальщик") выдал бы долю верных ответов p=,5 (25:25). Осталось проверить гипотезу о доле: правда ли, что доля в 39/50 статистически значимо отличается от ,5. Гипотезу проверяем одностороннюю (H1: p >.5).
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Vitek_22
сообщение 9.06.2017 - 13:44
Сообщение #5





Группа: Пользователи
Сообщений: 17
Регистрация: 7.12.2012
Пользователь №: 24440



Программа - обучаемая нейросеть. Анализирует биопотенциалы мозга (ЭЭГ) животного в ответ на внешние стимулы. Задача - правильно интерпретировать паттерны активности ансамблей нейронов и определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, на которые нейросеть уже "надрессирована". Количество правильных овтетов нейросети я уже привёл в первом посте - все они более 50%. Стимулы предъвляются однократно. Т.е. всё что у меня есть - это число правильных интерпретаций из 10, а именно: 6,8,9,7,9. Визуально - да, работает чень эффективно. Но надо как-то стат. обработать
Спасибо откликнувшимся, пойду думать над написанным ;)

Цитата(100$ @ 9.06.2017 - 13:22) *
Гипотезу проверяем одностороннюю (H1: p >.5).

Какой критерий использовать для проверки этой гипотезы?

Сообщение отредактировал Vitek_22 - 9.06.2017 - 13:46
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 9.06.2017 - 14:14
Сообщение #6





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Vitek_22 @ 9.06.2017 - 13:44) *
Какой критерий использовать для проверки этой гипотезы?


Критерий Стьюдента: t=(.78-.5)/sqr((.78*(1-.78))/50)=4.78. Значение соответствующей квантили ищется для интересующего уровня значимости при 48 ст.св.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
passant
сообщение 9.06.2017 - 17:10
Сообщение #7





Группа: Пользователи
Сообщений: 231
Регистрация: 27.04.2016
Пользователь №: 28223



Опять имеем - как тут часто пишут - "неточно описанный дизайн эксперимента".
Во-первых, имеем фразу "определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, " Таким образом, приходим к выводу, что "угадать" система должна В КАЖДОМ ИЗ ЭКСПЕРИМЕНТОВ один стимул из десяти? Т.е. вероятность угадывания в одном (каждом) опыте - 0.1
Мне кажется, что никакой речи о вероятности суммарного успеха 0.5 при угадывании в 50 опытах здесь речи идти не может.
Поэтому - еще раз, уточните пожалуйста "дизайн" эксперимента.

Сообщение отредактировал passant - 9.06.2017 - 17:17
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 10.06.2017 - 00:20
Сообщение #8





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



см. ниже

Сообщение отредактировал nokh - 16.06.2017 - 22:58
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 11.06.2017 - 15:53
Сообщение #9





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(Vitek_22 @ 9.06.2017 - 13:44) *
Программа - обучаемая нейросеть. Анализирует биопотенциалы мозга (ЭЭГ) животного в ответ на внешние стимулы. Задача - правильно интерпретировать паттерны активности ансамблей нейронов и определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, на которые нейросеть уже "надрессирована". Количество правильных овтетов нейросети я уже привёл в первом посте - все они более 50%. Стимулы предъвляются однократно. Т.е. всё что у меня есть - это число правильных интерпретаций из 10, а именно: 6,8,9,7,9. Визуально - да, работает чень эффективно. Но надо как-то стат. обработать
Спасибо откликнувшимся, пойду думать над написанным wink.gif


Какой критерий использовать для проверки этой гипотезы?


Если это была "обучающая выборка" из 5ти животных, то ответ "никакой". Единственный способ при такой маленькой выборке "метод складного ножа", на каждом шаге которого исключается из _обучающей_ выборки одно животное и сеть обученная на оставшихся четырех проверятся на исключенном.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Vitek_22
сообщение 11.06.2017 - 23:00
Сообщение #10





Группа: Пользователи
Сообщений: 17
Регистрация: 7.12.2012
Пользователь №: 24440



Животных мало, потому как очень сложно их делать (имплантировать элеткроды) и больше сделать никак нельзя. Задача не угадать из 10 один верный, а в каждом из 10 стимулов этот стимул точно определить, т.е. всего 2 варианта - правильно или неправильно был интерпретирован биопотенциал. Если брать единичный стимул, то если один раз он был правильно интерпретирован, то хоть ещё 100 раз подавай - всегда будет правильно. Суть - доказать, что программа реально работает и интерпретирует стимулы, пусть и не со 100% точностью.
Жтивотных ничему не обучают, обучают софт (нейросеть), вернее, она была обучена заранее, а на этих животных она просто делает своё дело

Сообщение отредактировал Vitek_22 - 11.06.2017 - 23:01
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 13.06.2017 - 19:21
Сообщение #11





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(Vitek_22 @ 11.06.2017 - 23:00) *
Животных мало, потому как очень сложно их делать (имплантировать элеткроды) и больше сделать никак нельзя. Задача не угадать из 10 один верный, а в каждом из 10 стимулов этот стимул точно определить, т.е. всего 2 варианта - правильно или неправильно был интерпретирован биопотенциал. Если брать единичный стимул, то если один раз он был правильно интерпретирован, то хоть ещё 100 раз подавай - всегда будет правильно. Суть - доказать, что программа реально работает и интерпретирует стимулы, пусть и не со 100% точностью.
Жтивотных ничему не обучают, обучают софт (нейросеть), вернее, она была обучена заранее, а на этих животных она просто делает своё дело



Простите, но это слишком толсто.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 16.06.2017 - 23:05
Сообщение #12





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Цитата(p2004r @ 11.06.2017 - 18:53) *
Если это была "обучающая выборка" из 5ти животных, то ответ "никакой". Единственный способ при такой маленькой выборке "метод складного ножа", на каждом шаге которого исключается из _обучающей_ выборки одно животное и сеть обученная на оставшихся четырех проверятся на исключенном.

Для складного ножа получатся другие данные, а эти, выходит, что получены некорректно. Можно провести такую аналогию: на примере конкретного текста учим правила языка, а потом по этому же тексту пишем диктант. Даже если диктант написан без ошибок, методологически невозможно определить почему: не то правила усвоены, не то текст запомнен. Поэтому свой пост выше удалил; к тому же, судя по отсутствию реакции, топикстартер всё равно ничего из него не понял.

Сообщение отредактировал nokh - 16.06.2017 - 23:11
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему