Угадал или правильно интерпретировал |
Здравствуйте, гость ( Вход | Регистрация )
Угадал или правильно интерпретировал |
9.06.2017 - 00:15
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 17 Регистрация: 7.12.2012 Пользователь №: 24440 |
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо!
|
|
9.06.2017 - 10:32
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 231 Регистрация: 27.04.2016 Пользователь №: 28223 |
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо! Для полной уверенности попробую уточнить постановку. Есть десять РАЗЛИЧНЫХ стимулов. Есть десять РАЗЛИЧНЫХ откликов (программы?). Необходимо выяснить, имеется ли статистически значимая зависимость между откликом, сделанным программой от поданого стимула. Если моя интерпретация задачи верна - то имеем задачу выявления зависимости признаков, измеренных в номинальных шкалах. Метод решения - коэффициент сопряженности Пирсона и его "родственники" - коэффициенты Крамера, Чупрова, Романовского etc. Если моя интерпретация неверна - укажите, в чем я ошибся. Сообщение отредактировал passant - 9.06.2017 - 10:35 |
|
9.06.2017 - 10:54
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 105 Регистрация: 23.11.2016 Пользователь №: 28953 |
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо! Vitek_22, ! Ситуация стандартная: подробность ответа зависит от подробности вопроса. Если Вам действительно хочется детально продолжить своё исследование, то опишите детально сам массив данных (фрагмент EXCEL-таблицы), какой программой, каким алгоритмом и какие признаки интерпретировали, приведите сам результат, и опишите, какова цель исследования? То есть зачем, для чего проводится это исследование? Разумеется, такие подробные описания делают лишь те участники форума, кто верит в достаточный уровень знаний и опыта остальных активных участников. Желаю успеха! |
|
9.06.2017 - 13:22
Сообщение
#4
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
Столкнулся с проблемой стат обработки такой вот ситуации: с мозга животного снмиаются биопотенциалы в ответ на 10 стимулов и эти сигналы интерпретируются программным комплексом с целью идентификации стимула. Из 10 поданных стимулов было правильно интерпретировано программой на 5 животных 6,8,9,7,9 стимулов из 10. Как методами стат. анализа подвести доказательную базу под утверждение, что программа реально интерпретировала биопотенциалы и вычислила стимул, а не просто случайно "угадала"? Какой критерий использовать? просто мозг сломал, нчиего на ум не приходит. Спасибо! В черном ящике пищат 5 мышей, на вход черного ящика подано 10 сигналов. На выходе имеем 50 результатов, подлежащих классификации. Прибор верно классифицировал 39 из 50 кейсов. Бесполезный классификатор (типа "угадывальщик") выдал бы долю верных ответов p=,5 (25:25). Осталось проверить гипотезу о доле: правда ли, что доля в 39/50 статистически значимо отличается от ,5. Гипотезу проверяем одностороннюю (H1: p >.5). |
|
9.06.2017 - 13:44
Сообщение
#5
|
|
Группа: Пользователи Сообщений: 17 Регистрация: 7.12.2012 Пользователь №: 24440 |
Программа - обучаемая нейросеть. Анализирует биопотенциалы мозга (ЭЭГ) животного в ответ на внешние стимулы. Задача - правильно интерпретировать паттерны активности ансамблей нейронов и определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, на которые нейросеть уже "надрессирована". Количество правильных овтетов нейросети я уже привёл в первом посте - все они более 50%. Стимулы предъвляются однократно. Т.е. всё что у меня есть - это число правильных интерпретаций из 10, а именно: 6,8,9,7,9. Визуально - да, работает чень эффективно. Но надо как-то стат. обработать
Спасибо откликнувшимся, пойду думать над написанным ;) Гипотезу проверяем одностороннюю (H1: p >.5). Какой критерий использовать для проверки этой гипотезы? Сообщение отредактировал Vitek_22 - 9.06.2017 - 13:46 |
|
9.06.2017 - 14:14
Сообщение
#6
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
|
|
9.06.2017 - 17:10
Сообщение
#7
|
|
Группа: Пользователи Сообщений: 231 Регистрация: 27.04.2016 Пользователь №: 28223 |
Опять имеем - как тут часто пишут - "неточно описанный дизайн эксперимента".
Во-первых, имеем фразу "определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, " Таким образом, приходим к выводу, что "угадать" система должна В КАЖДОМ ИЗ ЭКСПЕРИМЕНТОВ один стимул из десяти? Т.е. вероятность угадывания в одном (каждом) опыте - 0.1 Мне кажется, что никакой речи о вероятности суммарного успеха 0.5 при угадывании в 50 опытах здесь речи идти не может. Поэтому - еще раз, уточните пожалуйста "дизайн" эксперимента. Сообщение отредактировал passant - 9.06.2017 - 17:17 |
|
10.06.2017 - 00:20
Сообщение
#8
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
см. ниже
Сообщение отредактировал nokh - 16.06.2017 - 22:58 |
|
11.06.2017 - 15:53
Сообщение
#9
|
|
Группа: Пользователи Сообщений: 1091 Регистрация: 26.08.2010 Пользователь №: 22699 |
Программа - обучаемая нейросеть. Анализирует биопотенциалы мозга (ЭЭГ) животного в ответ на внешние стимулы. Задача - правильно интерпретировать паттерны активности ансамблей нейронов и определить какой именно стимул был подан! Всего 5 животных. Всего 10 разнообразных стимулов, на которые нейросеть уже "надрессирована". Количество правильных овтетов нейросети я уже привёл в первом посте - все они более 50%. Стимулы предъвляются однократно. Т.е. всё что у меня есть - это число правильных интерпретаций из 10, а именно: 6,8,9,7,9. Визуально - да, работает чень эффективно. Но надо как-то стат. обработать Спасибо откликнувшимся, пойду думать над написанным Какой критерий использовать для проверки этой гипотезы? Если это была "обучающая выборка" из 5ти животных, то ответ "никакой". Единственный способ при такой маленькой выборке "метод складного ножа", на каждом шаге которого исключается из _обучающей_ выборки одно животное и сеть обученная на оставшихся четырех проверятся на исключенном. |
|
11.06.2017 - 23:00
Сообщение
#10
|
|
Группа: Пользователи Сообщений: 17 Регистрация: 7.12.2012 Пользователь №: 24440 |
Животных мало, потому как очень сложно их делать (имплантировать элеткроды) и больше сделать никак нельзя. Задача не угадать из 10 один верный, а в каждом из 10 стимулов этот стимул точно определить, т.е. всего 2 варианта - правильно или неправильно был интерпретирован биопотенциал. Если брать единичный стимул, то если один раз он был правильно интерпретирован, то хоть ещё 100 раз подавай - всегда будет правильно. Суть - доказать, что программа реально работает и интерпретирует стимулы, пусть и не со 100% точностью.
Жтивотных ничему не обучают, обучают софт (нейросеть), вернее, она была обучена заранее, а на этих животных она просто делает своё дело Сообщение отредактировал Vitek_22 - 11.06.2017 - 23:01 |
|
13.06.2017 - 19:21
Сообщение
#11
|
|
Группа: Пользователи Сообщений: 1091 Регистрация: 26.08.2010 Пользователь №: 22699 |
Животных мало, потому как очень сложно их делать (имплантировать элеткроды) и больше сделать никак нельзя. Задача не угадать из 10 один верный, а в каждом из 10 стимулов этот стимул точно определить, т.е. всего 2 варианта - правильно или неправильно был интерпретирован биопотенциал. Если брать единичный стимул, то если один раз он был правильно интерпретирован, то хоть ещё 100 раз подавай - всегда будет правильно. Суть - доказать, что программа реально работает и интерпретирует стимулы, пусть и не со 100% точностью. Жтивотных ничему не обучают, обучают софт (нейросеть), вернее, она была обучена заранее, а на этих животных она просто делает своё дело Простите, но это слишком толсто. |
|
16.06.2017 - 23:05
Сообщение
#12
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Если это была "обучающая выборка" из 5ти животных, то ответ "никакой". Единственный способ при такой маленькой выборке "метод складного ножа", на каждом шаге которого исключается из _обучающей_ выборки одно животное и сеть обученная на оставшихся четырех проверятся на исключенном. Для складного ножа получатся другие данные, а эти, выходит, что получены некорректно. Можно провести такую аналогию: на примере конкретного текста учим правила языка, а потом по этому же тексту пишем диктант. Даже если диктант написан без ошибок, методологически невозможно определить почему: не то правила усвоены, не то текст запомнен. Поэтому свой пост выше удалил; к тому же, судя по отсутствию реакции, топикстартер всё равно ничего из него не понял. Сообщение отредактировал nokh - 16.06.2017 - 23:11 |
|