Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Помогите с разобраться с терминами нейронной сети
drZub
сообщение 4.08.2014 - 00:50
Сообщение #1


Дух форума
*

Группа: Пользователи
Сообщений: 11
Регистрация: 2.06.2014
Пользователь №: 26440



Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась?
Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка?
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
TheThing
сообщение 4.08.2014 - 14:52
Сообщение #2


Дух форума
*

Группа: Пользователи
Сообщений: 116
Регистрация: 20.02.2011
Пользователь №: 23251



Цитата(drZub @ 4.08.2014 - 00:50) *
Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась?
Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка?


Существует Model Selection (выбор модели) - для этого ориентируемся на значения Training perf, test perf, valid. perf - понятно, что train.perf будет малоинформативной чаще всего.
Затем идет Model Assesment (оценка модели) по значениям ошибок train.error, test error & valid. error. В Вашем случае на обучающей выборке более-менее сносный результат правильной классификации, но на тестовой - очень все плохо, что говорит о возможном переобучении (overfitting).

Training set - для подгонки матрицы весов (weights).
Validation set - для тьюнинга самой архитектуры сети, например количества промежуточных слоев (hidden layers), но не изменения весов.
Test set - для общей оценки работы классификатора.

Сообщение отредактировал TheThing - 4.08.2014 - 14:54
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
drZub
сообщение 4.08.2014 - 19:32
Сообщение #3


Дух форума
*

Группа: Пользователи
Сообщений: 11
Регистрация: 2.06.2014
Пользователь №: 26440



можно задавать процент наблюдений , например 70% наблюдений это обучающая выборка 20% тестовая и 10% валидационная.
Код

по значениям ошибок train.error, test error & valid. error

Вы этот вывод сделали, что значение ошибок тест и валид 3 раза больше треин?

А какая максимально допустимая ошибка в test и valid
и что значит значение например, Testperf=0,80
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему