Как создать формулу для расчета прогноза? Опции

[Solo...]

Всем здравствуйте. Прошу опять помощи.
Стоит такая задача. Как создать формулу, с помощью которой можно вычислить вероятность положительного исхода лечения у конкретного больного. Т.е. формулу, в которую можно подставлять данные (признаки, разные показатели и пр.) конкретного обратившегося за помощью больного, далее получать с помощью этой формулы какую то цифру - % (70%, или 60, или 95 ... и т.д.). Эта цифра и будет отражать вероятность положительного исхода лечения этого больного.

Имеются результаты лечения около 100 больных, известны все их показатели, влияющие на результат лечения. Этих показателей - около 5-6. Все они должны входить в формулу.

Я слышала, что этой формулой является дискриминантное уравнение. Но как его построить? В Экселе или в Статистике?

[Анна_К]

Ну вообщем-то все понятно.
1) Про 30 я не случайно спросил - общее место, после этого числа объектов стабилизируется выборочная дисперсия (точнее после 25-30 объектов), соответственно, речь идет об обычной статистике, так что отсутствие обоснованного ответа на этот вопрос уже о многом говорит. Так что "оправдало на практике" это веселое объяснение.

Я рада, что мы приближаемся к взаимопониманию. Если это, конечно, не иллюзия понимания. На самом деле, речь не идет об обычной статистике. Статистика отличается от DataMining'а как алгебра отличается от геометрии (стереометрии, гиперметрии). Вы используете формулы, средние, дисперсии, отклонения от среднего, оценки, ошибки? В ДМ (при использовании всех статистических достижений) строятся описания гипер-облаков, характеризующих группы объектов. Это описание может быть гиперкубом, гипер-эллипсоидом, сложной гипер-поверхностью. И точность распознавания зависит от того, насколько хорошо учтены все информативные признаки (измерения) и удалены все лишние неинформативные признаки (шум). И только практика свидетельствует об эффективности построенной модели. Сами помните из марксистской философии: «Практика - критерий истины», поэтому и нечего грустить.

2) Насчет коэффициента корреляции я тоже спросил не случайно. Вообще-то его квадрат показывает процент дисперсии, который объясняет данная модель. С точки зрения предсказания коэффициент корреляции раный +1 и -1 одинаково хороши, просто во втором случае перепутали группы. Но Вы на этот подвох тоже не обратили внимания - и это говорит о многом.

В нашем подходе такой перевертыш исключается. Точность распознавания близка к нулю, если распознавание невозможно (все перемешано), или точность распознавания стремится к 1 (100% распознавание), если информативные признаки существуют. Еще лучше просто посчитать, сколько объектов при распознавании на скользящем контроле попало в свою родную группу, сколько попало в зону отказа (которая вычисляется в зависимости от числа объектов в группах), и сколько являются ошибками. При этом зону отказов можно учитывать или не учитывать. В ней мы просто не можем ничего сказать о принадлежности объекта к определенной группе.

2) Насчет того, что Ваши методы лучше среднего врача, я вообще не понял. Итак нейронные сети дали 99% точности и Вы считаете это подгонкой. Ваши методы дали 85-90% и это прекрасно. Чего-то я логику не понял. Или методика была одна и тогда Ваши методы проиграли или же проверка опять была не проспективная, но а тогда и 99% и 85% подозрительны.

Речь о том же, что я писала выше: нейронные сети, построенные на данных, предварительно обработанных генетическими алгоритмами, это модель, точно описывающая именно те данные, которые пошли на обучение. Любое добавление объектов полностью перестраивает решающее правило, которое содержит очень большое число отобранных признаков. То есть этот подход неустойчив вследствие того, что число предполагаемых прогностических переменных очень велико. Цитата: «Поиск оптимального набора признаков путем максимизации функционала, характеризующего качество распознавания, неизбежно ведет к эффекту "overfitting" - сверхобучение, когда оценка точности распознавания на тех данных, которые использовались для обучения значительно завышается. Правильная оценка точности должна производится на абсолютно новых данных, которые ранее никак не использовались. Объем контрольной выборки должен быть достаточно большим для того, чтобы оценка точности распознавания была близка к настоящей точности». В данном случае скользящий контроль если и проводился, то при удалении объекта решающее правило не строили заново. Объект просто распознавали (при этом до того он участвовал в обучении алгоритма). В нашем случае при удалении объекта, заново строится решающее правило. То есть проверяемый объект не участвует в обучении. Кроме того, каждый признак, отобранный для решающего правила как информативный, проверяли методом Монте-Карло на значимость. В нейронных сетях этого естественно не делалали. У них получился набор из 30 признаков. В нашем случае информативными оказались только 11. Но каждый из них работал на распознавание. Такие методы, при работе в приемном покое будут хорошим подспорьем врачу. Тем более, что для них не нужны мощные машины с дорогущими лицензионными зарубежными пакетами. Нужно только ввести показатели 11 симптомов, получить результат распознавания и дальше делать вывод, соглашаться с ним или нет.

Вы то ли не хотите, то ли не можете понять основного: (а) проверка метода на той же популяции, на которой строится модель порочна. Модель постоянно строится на одних и тех же данных, соответственно ее параметры будут одинаковыми.
... Иными словами, при таком подходе система не может учитывать редкие события - а частые события мозг человека будет учитывать значительно лучше. Нельзя одновременно уменьшить объем входящей информации и получить больше информации на выходе.

В медицине редко можно собрать слишком большие массивы данных. Их всегда - ограниченное число. И наши методы позволяют выявлять закономерности, которые не всегда видны невооруженным глазом. И при любой модели будут такие пациенты, которые не вписываются о «свою» группу. Любой хирург вам расскажет, что иногда выживают самые безнадежные больные, а благополучные (вроде бы) вдруг не выдерживают операции. Тоннельный эффект в медицине случается также часто как и в микромире, когда электрон оказывается там, где ему теоретически быть не положено.
А насчет уменьшения информации Вы абсолютны неправы! Как раз уменьшение шума дает возможность найти только информативные показатели, помогающие распознаванию.