Версия для печати темы

Автор: drZub 4.08.2014 - 00:50

Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась?
Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка?

Автор: TheThing 4.08.2014 - 14:52

Существует Model Selection (выбор модели) - для этого ориентируемся на значения Training perf, test perf, valid. perf - понятно, что train.perf будет малоинформативной чаще всего.
Затем идет Model Assesment (оценка модели) по значениям ошибок train.error, test error & valid. error. В Вашем случае на обучающей выборке более-менее сносный результат правильной классификации, но на тестовой - очень все плохо, что говорит о возможном переобучении (overfitting).

Training set - для подгонки матрицы весов (weights).
Validation set - для тьюнинга самой архитектуры сети, например количества промежуточных слоев (hidden layers), но не изменения весов.
Test set - для общей оценки работы классификатора.

Автор: drZub 4.08.2014 - 19:32

можно задавать процент наблюдений , например 70% наблюдений это обучающая выборка 20% тестовая и 10% валидационная.

Вы этот вывод сделали, что значение ошибок тест и валид 3 раза больше треин?

А какая максимально допустимая ошибка в test и valid
и что значит значение например, Testperf=0,80