Помогите с разобраться с терминами нейронной сети Опции

[drZub]

Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась?
Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка?

Эскизы прикрепленных изображений

 

[TheThing]

Коллеги, помогите разобраться с терминологией нейронной сети. Есть обучающаяся выборка, тестовая и валидационная. Как правильно смотреть соотношения? Если обучающаяся имеет большее значение чем тестовая это значит, что нейронная сеть переобучилась?
Например,мне нравится самая первая модель. там TrainPerf=0,95, Testperf=0,80 Могу я скзать , что модель обладает хорошей прогностической способностью и для чего нужна валидационная выборка?

Существует Model Selection (выбор модели) - для этого ориентируемся на значения Training perf, test perf, valid. perf - понятно, что train.perf будет малоинформативной чаще всего.
Затем идет Model Assesment (оценка модели) по значениям ошибок train.error, test error & valid. error. В Вашем случае на обучающей выборке более-менее сносный результат правильной классификации, но на тестовой - очень все плохо, что говорит о возможном переобучении (overfitting).

Training set - для подгонки матрицы весов (weights).
Validation set - для тьюнинга самой архитектуры сети, например количества промежуточных слоев (hidden layers), но не изменения весов.
Test set - для общей оценки работы классификатора.

Сообщение отредактировал TheThing - 4.08.2014 - 14:54