Помогите с разобраться с терминами нейронной сети |
Здравствуйте, гость ( Вход | Регистрация )
Помогите с разобраться с терминами нейронной сети |
4.08.2014 - 00:50
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 11 Регистрация: 2.06.2014 Пользователь №: 26440 |
Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась?
Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка? |
|
4.08.2014 - 14:52
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 116 Регистрация: 20.02.2011 Пользователь №: 23251 |
Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась? Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка? Существует Model Selection (выбор модели) - для этого ориентируемся на значения Training perf, test perf, valid. perf - понятно, что train.perf будет малоинформативной чаще всего. Затем идет Model Assesment (оценка модели) по значениям ошибок train.error, test error & valid. error. В Вашем случае на обучающей выборке более-менее сносный результат правильной классификации, но на тестовой - очень все плохо, что говорит о возможном переобучении (overfitting). Training set - для подгонки матрицы весов (weights). Validation set - для тьюнинга самой архитектуры сети, например количества промежуточных слоев (hidden layers), но не изменения весов. Test set - для общей оценки работы классификатора. Сообщение отредактировал TheThing - 4.08.2014 - 14:54 |
|
4.08.2014 - 19:32
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 11 Регистрация: 2.06.2014 Пользователь №: 26440 |
можно задавать процент наблюдений , например 70% наблюдений это обучающая выборка 20% тестовая и 10% валидационная.
Код по значениям ошибок train.error, test error & valid. error Вы этот вывод сделали, что значение ошибок тест и валид 3 раза больше треин? А какая максимально допустимая ошибка в test и valid и что значит значение например, Testperf=0,80 |
|