Коллеги!

Может быть, кто-то подскажет, есть ли программы по статистической обработке данных для патанатомии?
Это несколько специфично. Возникла необходимость сменить программу в отделении. Или проще поискать программиста и попросить, чтобы он написал?

Не хочется изобретать колесо. тем более, что нет уверенности, что оно будет хорошим.

Могу написать (безвозмездно) для Вас подобную программу под Windows или Linux, если Вы подробно опишете методику расчёта нужных показателей.

Ряд программ статистической обработки данных, написанных мной, Вы можете скачать здесь:
http://www.linmedsoft.narod.ru/epitrend.html
http://www.linmedsoft.narod.ru/kvars.html

Прочитал это сообщение и вспомнил старую шутку. Пришёл школьник в магазин канцтоваров и спрашивает: - У вас есть карандаши для 5-го класса?

Мне приходилось проводить статистический анализа данных патанатомии и судмедэкспертизы, и я не нашел никаких оснований для того, чтобы не использовать известные статистические пакеты.

Полагаю, что такие затруднения возникают от недостатка опыта перевода задач на язык методов статистики. В этом случае необходимо обращаться за помошью к профессоналу-биостатистику.

Теперь относительно статистических "программ-самоделок" в обилии создаваемых программистами-старшекурсниками. И.Ньютон говорил: "Я видел далеко потому, что стоял на плечах гигантов". Никакие программы, созданные одиночками, не могут соперничать с продуктами, создаваемыми коллективами из сотен и тысяч специалистов.

Любопытно, что раздел "Программы" Вашего собственного сайта "Биометрика" представлен именно программами-самоделками: Fisher's Exact Test д-ра Хасеб Хана и небезызвестной EpiInfo, которая (в своём DOS-варианте) начиналась как индивидуальная разработка двух швейцарских программистов и лишь впоследствии развилась как коллективный проект.
В этой связи совершенно непонятно, чем вызван подобный афронт в отношении "программ-самоделок".
Linux, начинавшаяся как индивидуальный проект финского студента-программиста, успешно конкурирует с Windows, проект Arachne - результат творчества чешского студента по многим параметрам превосходит Internet Explorer. Впрочем, "программы-самоделки" пишут не только студенты и не только программисты. Я, например, врач, старший научный сотрудник, занимаюсь вопросами эпидемиологии, клиники и профилактики особо опасных инфекций, перепробовал несколько статистических пакетов, включая знаменитую Statistica, но вынуждн был от них отказаться и заняться написанием собственных программ по целому ряду причин:
1. Мне непонятно, почему если в моей каждодневной работе мне требуется вычисление, скажем, эпидемической тенденции или показателя относительного риска, то я должен устанавливать программу-монстр, отъедающую чуть ли не треть жёсткого диска и содержащую компьютерную реализацию многочисленных методов статистической обработки данных, которые я НИКОГДА не буду использовать?
2. Мне непонятно, почему я должен платить за это, за труд программистов, который я не буду использовать, тем более, что имеется множество бесплатных программ, пусть и написанных студентами-программистами?
3. Стремление запихнуть в программный комплекс "всё и вся" приводит к запутанному интерфейсу и излишней требовательности к ресурсам, в то время как врачи обычно небогаты и имеют не слишком мощные компьютеры - см. пункт 1. В то же время модульный подход "одна программа - один метод" делает элементарным как представление данных, так и вывод результата. Забавно, но этого же подхода при подборе программ на своём сайте придерживаетесь и Вы сами, цитирую: "В этом разделе мы будем размещать разнообразные программы по статистике, которые могут быть полезны в практической деятельности. Как правило, это будут небольшие программы, ориентированные на один конкретный статистический метод". Так в чём же дело?
4. Я по соображениям экономии работаю на бесплатной операционной системе, Linux, для которой коммерческих статистических пакетов просто не существует, хотя и имеются довольно неплохие GPL-решения, например, Gnumeric. В этой связи единственный выход - использовать свободные программные решения, включая собственные. Кстати, в отличие от Windows, для свободных операционных систем как раз-таки и характерен подход "одна задача - одно программное решение", что позволяет путём подбора необходимых модулей тонко настроить программное окружение "под себя". Именно поэтому АРМ, ГИС - это Linux-решения, хотя бы в своей серверной части.
5. По ходу своей профессиональной деятельности мне приходится заниматься, помимо работы в лаборатории, курации больных и выезда в экспедиции, разработкой автоматизированных систем управления эпиднадзором. Разумеется, при этом используются средства разработки, "создаваемыми коллективами из сотен и тысяч специалистов". Однако необходимость создания на их основе собственных программных решений очевидна: имеются ли в зарубежных статистических пакетах прогнозно-аналитические модели Барояна-Рвачёва? Шуратова-Сапарбекова (знаменитая автоволновая модель эпидемического процесса)? или хотя бы неточная и устаревшая формула Шапошникова? Нет. Все они реализованы в "программах-самоделках".
Так что программы-самоделки не только могут, но и успешно соперничают с коммерческими решениями и, зачастую, впоследствии сами выливаются в коллективные проекты программистов-энтузиастов. Если вам необходимо отвезти жену на пикник, то глупо для этой цели покупать бульдозер. Единственно: при выборе программного обеспечения нужно чётко понимать, ЧТО она должна делать, ЧТО нужно получить в результате и, как минимум, уметь провести эти расчёты вручную, дабы проверить выбранную программу на корректность.
Кстати, моё предложение остаётся в силе, хотя да, для большинства расчётов, выполняемых в практическом здравоохранении, включая патологоанатомическую службу, достаточно даже не статпакетов, а просто Excel'а или OpenOffice Calc.

Программа Fisher's Exact Test реализует единственный тест, и не может использоваться в других целях. Так что пример явно неудачный. Но тот же результат можно получить и в больших стат. пакетах, где кроме Fisher's Exact Test есть и много других и необходимых процедур. Например, когда я проверял коррекность этой программы несколько раз, то использовал сложные программы и после этого указывал Х. Хану на ошибки.


Конечно не должны! Кто же Вас заставляет это делать! Можно использовать и свои самоделки, если считать то, о чём Вы пишете. Если эта самоделка корректна. Что в большинстве случаев не так. Я уже проверял много таких самоделок и все они давали неверный результат. Конечно, если программа выполняет несколько несложных арифметических действий, то вполне возможно, что всё в порядке. Но такие программы недостаточно универсальны.


Эх-х-х-х! Товарищ-товарищ.... Так полагаю, что к высшей школе Вы имеете не самое непосредственное отношение, и тем более к студентам-программистам... Вчера умер один мой знакомый, который пошёл на обследование в клиники. И такие же недоучки, как те студенты-программисты, что пишут обильно разные программы, "залечили" его. Как выяснилось, не ту дозу лекарств дали...


Ваша уверенность в разумности этого подхода говорит о том, что Вам не приходится анализировать реальные массивы данных используя одновременно различные методы. Да. если использовать 2-3 метода, то можно пойти по этому пути. Если же речь идёт о том, что необходимы разные методы, а чаще всего именно так и бывает в реальных исследованиях, то необходим программный комплекс. Для "элементарных" процедур достаточно использовать даже не программы, а просто калькулятор. Но сложные истины чаще всего извлекаются столь же сложными методами. И для их реализации необходимы сложные пакеты.


Вы сами себе ответили. Действительно, программа должна соответствовать цели. Подобная эйфория от того, что сделанная небольшая программа работает, мешает осознать, что профессиональный биостатистики отличается от любителя тем, что он решает поливариантные задачи, получая в результате десятки, а иногда и сотни решений, причём взаимосвязанных различных методов. И лишь анализ этих сотен вариантов даёт серьёзные заключения. Говорю так по собственному опыту. И вижу как наивные медики получив один вариант решения начинают строить ЕДИНСТВЕННУЮ гипотезу интерпретируя этот результат.


Наконец-то разобрались! Действительно, в "практическом здравоохранении" достаточно не только Excel, но даже простого калькулятора, благо надо лишь умножать, складывать, делить и вычитать...
Но кроме "практического здравоохранения" есть ещё и медицинская наука, в частности, доказательная медицина. И там-то этих инструментов уже недостаточно. Наши подходы разные потому, что мы с Вами делаем разное дело. И уже потому нам необходимы разные инструментарии. Это не означат, что Вы лично делаете своё дело плохо или неправильно. Не мне об этом судить. Профессиональный статистик использующий интегрированный стат. пакет, отличается от работника"практического здравоохранения не только решаемыми задачами, но и производительностью их решения с помощью такого пакета. Поверьте мне, что я за час работы в пакете SAS 9 получу столько информации, что Вы за год не сможете получить с помощью небольших пакетов.

Итог.
Кесарю - кесарево и т.д.

Пример вполне удачный. Поскольку речь шла о том, могут ли программы-самоделки конкурировать с проприетарными статистическими пакетами или нет, а вовсе не о том, можно лих использовать в иных целях, кроме тех, для которых они предназначены. В той области применения, для которой она создавалась (расчёт точного критерия Фишера) программа д-ра Хана вполне конкурентоспособна, невзирая на то, имеют ли "большие стат. пакеты" другие процедуры или нет. Т.е. Вы в дискуссии совершаете логическую ошибку ignoratio elenchi (подмена тезиса), заменяя утверждение, которое нужно доказать, на другое, внешне на него похожее или как-то с ним связанное.
По поводу проверки корректности программы д-ра Хана с использованием "сложных программ": это грубая методическая ошибка тестирования бета-версий программного обеспечения. Поскольку в проприетарном софте, наряду со свободным, регулярно обнаруживают ошибки, то a priori отдавать предпочтение тому или другому нельзя. Принцип тестирования прост и общеизвестен: все программные расчёты проверяются исключительно вручную на разных вариантах задачи.
Что же до использования факта применения "сложных программ" Вами для проверки программы-самоделки как доказательства неконкурентоспособности последней, то это ещё одна логическая ошибка, известная как petitio principii (предвосхищение основания), когда некоторое утверждение доказывается с использованием (явным или неявным) другого утверждения, которое само ещё нуждается в доказательстве.

Ну, это кому как повезло. Как я писал ранее, одним из направлений моей работы является участие в разработке и внедрении АСУ (автоматизированных систем управления) эпиднадзором. И хотя сейчас существует очень большое число АРМ-оа (автоматизированных рабочих мест), ни одно из проверенных коммерческих решений (не буду давать ни рекламы, ни антирекламы, лишь упомяну географию: фирмы из США, Франции, Германии) не было свободно от ошибок. В том числе и орфографических. Вот вам и хвалёный продукт, "создаваемый коллективами из сотен и тысяч специалистов". В конечном итоге АСУ, работающая на уровне республики (Казахстан) - это также самоделка, сляпанная на коленке двумя товарищами.
Естественно, что валидность программы-самоделки, которую планируется использовать, нужно оценить, причём, желательно, до скачивания. Алгоритм прост:
1. Смотрим страничку "об авторе" сайта программы. Наличие орфографических ошибок должно насторожить (в равной степени и при оценке коммерческого софта): тринадцатый удар часов вызывает недоверие не только к самому удару, но и к каждому из предыдущих двенадцати.
2. Ключевой момент:
а) обладает ли автор программы достаточной квалификацией для понимания сути алгоритма, заложенного в основу программы, а если нет, то привлёк ли к работе над нею компетентных консультантов;
б) главное! использует ли он эту программу в своей практической деятельности.
3. Первые расчёты программы обязательно перепроверяем вручную с использованием хотя бы учебника "Социальная гигиена и организация здравоохранения" за 3-й курс.

Для справки. Даже проприетарный ("профессиональный", коммерческий) софт не состоит из одних лишь универсальных стат. пакетов. Выделяют:
1. Специализированные - содержат методы из одного-двух разделов статистики (например, DataScope) или методы, используемые в конкретной предметной области (например, EpiInfo);
2. Общего назначения или универсальные - не ориентированы на специфическую предметную область (например, всё та же Statistica);
3. Профессиональные - ориентированы на обработку сверхбольших объёмов данных и узкоспециализированные методы (например, SAS).
Почему-то Вами универсальность статистической программы подчёркивается как достоинство. На деле это недостаток. Я об этом уже писал, но повторюсь:
1. Наличие в программе большого количества функций "про запас", которые могут понадобиться или нет - это труд программистов, который Вы оплачиваете из своего кармана (при сравнении ценового диапазона специализированных и универсальных статистических пакетов - 200-1500$ и 500-5000$, соответственно - я остановлю выбор, естественно, на программе за 200 у.е., нежели за 500, поскольку зарплата врача обычно 200 у.е. не превышает). Свободный же софт бесплатен по определению.
2. Наличие в программе большого количества функций "про запас", которые могут понадобиться или нет - это место на жёстком диске, которое забивается ненужным хламом. А этого места никогда слишком много не бывает.
3. Наличие в программе большого количества функций "про запас", которые могут понадобиться или нет - это избыточно сложный интерфейс, необходимость для освоения программы времени (в то время как у врача-специалиста и других дел по горло), оплаты курсов, покупки толстых справочников и т.п. Софт (неважно, свободный или коммерческий), ориентированный на один метод (группу методов) обычно имеет интуитивно понятный интерфейс и не требует много времени на освоение (пример - всё та же программа д-ра Хана).
Кроме того, не стоит забывать, что в топике-основе речь шла именно о СПЕЦИАЛИЗИРОВАННОМ применении статистических программ, во врачебной деятельности. А основная задача использования статистики в медицине - это проверка достоверности априорно формулируемых выводов. Для решения этой задачи набор статистических методов ограничен и, насколько мне известно, не менялся последние лет 30. Поэтому для её решения гораздо УДОБНЕЕ применять специализированные, а не универсальные статистические пакеты, которые в большой массе представлены свободным софтом (программами-самоделками). Что до второй задачи статистики - обнаружение ранее неизвестных закономерностей - то здесь по сравнению с другими методами научной медицины: описательный, описательно-исторический, сравнительно-исторический, метод анализа официальных и архивных документов, клинико-лабораторный, метод экспертных оценок и т.д. и т.п. статистический метод имеет вспомогательное значение. Лично я не встречал научной или практической задачи, которая требовала бы применения более 3 статистических методов одновременно. Может, Вы пример приведёте? В любом случае, каждый метод расчёта удобнее реализовать в отдельном программном решении, как с точки зрения разработки, так и применения.
Практика свидетельствует о популярности в биомедицинских исследованиях именно специализированных пакетов по сравнению с универсальными: так, если из универсальных стат. пакетов, используемых в медицине, я "навскидку" могу вспомнить только 4 (Statgraphics, SPSS, Statistica, STADIA), то число только коммерческих специализированных пакетов давно превалило за 2 десятка, а с учётом "самоделок", счёт, пожалуй, пойдёт и на тысячи.

Я так полагаю, что это продолжение темы ошибок в программном обеспечении, разрабатываемом community. Об этом я писал уже выше.
Что до моего отношения к высшей школе, то я имел и имею к ней непосредственное отношение: будучи аспирантом, вёл группы с различных факультетов мед. академии (это входит в программу подготовки аспиранта), в настоящее время читаю лекции как гражданским, так и военным курсантам. Более того, я имел дело с такой специфической категорией студентов, как будущие "врачи-кибернетики" медико-биологического факультета Карагандинской гос. мед. академии. Что до студентов-программистов, то из 6 участников программного проекта, менеджером которого я являюсь, 3 - именно студенты-программисты, пожаловаться не могу. По поводу "залечили": конкретнее надо быть, товарищ! Диагноз, препарат, доза? А то обвинять легко, но ведь тут не бабушки с базара собрались, а Вы - представитель точных наук.
Да и вообще, попытка "прилепить" это "залечили" как аргумент дискуссии - это уже упоминавшаяся логическая ошибка подмены тезиса (ignoratio elenchi). А попытка использовать как аргумент не относящегося по сути к делу факта, имел я или не имел отношение к высшей школе, это уже другая - argumentum ad hominem - попытка привнести в рассуждения эмоциональную составляющую, когда суждение об истинности утверждения ставится в зависимость от суждения о личных качествах человека (субъективируется). Формальная логика учит, что так происходит, когда в рассуждение вмешиваются эмоции – напр., когда человек подсознательно боится сделать выводы из известных ему фактов, потому что эти выводы были бы ему неприятны. И в нашем случае (активная защита Вами так называемого "профессионального" софта вообще и программы Statistica в частности) причины этого очевидны:
1. Экономическая составляющая: Вы являетесь преподавателем курсов по применению статистического пакета Statistica, т.е. зарабатываете на этой программе, поэтому для Вас она самая хорошая. Нет ничего плохого в том, чтобы зарабатывать, но нельзя же иметь одну правду для всх, а вторую - для внутреннего использоваия!
2. Эмоциональная составляющая: упоминавшаяся сложность применения всё тех же универсальных коммерческих стат. пакетов превращает специалиста по их применению в некого непогрешимого гуру, судящего с высоты своего величия о том, что должно или нет, т.е. вполне подходит для самоутверждения ("профессиональный биостатистик и отличается от любителя", "наивные медики" и т.п.). Плюс - статьи, книги, курсы, консультации - см. пункт 1 (экономическая составляющая).

Опять логическая ошибка - argumentum ad hominem - попытка увязать дискуссию уже с моей профессиональной деятельностью. Ну откуда Вам знать, с чем мне приходится иметь дело? И что Вы понимаете под "реальными массивами данных"? Регистрация заболеваемости чумой в Казахстане ведётся с 1905 года, впервые диагностированным бруцеллёзом человека - с 1952-го. Это "реальные" массивы? И эта заболеваемость, уж поверьте, анализируется различными методами, об этом ниже. Кстати, используемых нами методов в универсальных статистических пакетах нет, об этом опять-таки ниже.
Что до моей уверенности в разумности этого подхода, то она проистекает из а) моего опыта разработки программ; б) моего опыта применения прикладных программ (не только статистических).
По "а": модульный принцип используется в объектно-ориентированном программировании, программа собирается из кирпичиков-классов, каждый из которых реализует собственные методы обработки данных. Не нужно говорить, какой подход (объектно-ориентированный или процедурный) одержал верх в настоящее время. Компонентный принцип построения программ также не нуждается в комментариях.
По "б": сравним коммерческую чрезвычайно удобную (кто бы спорил!) среду разработки Borland C++ Builder и коллекцию компиляторов GCC (GNU Compilers Collection). Сколько "весит" инсталлятор в первом случае? 500-600 Мб. Буду ли я использовать все возможности программы? Вряд ли более 11%. Могу ли я добавить новые языки программирования, если возникнет нужда? Нет. Во втором случае. Сколько "весит" непосредственно инсталлятор? 150 Кб. При этом я могу выбирать из множества предложенных модулей лишь те, которые мне действительно нужны. И добавлять новые / удалять ненужные, экономя место на жёстком диске. Могу я использовать модули / библиотеки, разработанные другими производителями, совместно с GCC? Да сколько угодно. Коллекция модулей, "подогнанная" под конкретные запросы, работает лучше, нежели неизменный единый коммерческий программный пакет. Это факт.
.
И опять логическая ошибка - предвосхищение основания (petitio principii) - для доказательства используется утверждение, которое само ещё необходимо доказать. Хотя бы ОДИН КОНКРЕТНЫЙ пример???

Ну, вообще-то я сам себе ответить не мог, т.к. себе я вопроса не задавал. Я задавал его Вам: "чем вызван Ваш афронт в отношении программ-самоделок, хотя Вы сами их выкладываете на своём сайте"? Из длинного ответа удалось выловить лишь один разумный аргумент: "там бывают ошибки" (хотя где их нет?). Но впрочем, ТЕПЕРЬ я на этот вопрос ответил (см. экономическую и эмоциональную составляющую).

Это гипербола или Вы в этом действительно уверены? Вот Вам классическая практическая и одновременно научная задача: необходимо спрогнозировать заболеваемость людей чумой на данной территории (краткосрочный и долгосрочный прогноз). Учитывается зарегистрированная заболеваемость за 60 лет (предварительно разбираемся с "выскакивающими" величинами). Учитываются демографические показатели (миграция, естественный прирост и т.п.). Учитывается солнечная активность (числа Вольфа). Учитывается гидродинамический коэффициент. Учитывается ареал и миграция большой песчанки (хотя бы, а желательно - серой крысы, суслика и сурка) на данной территории. Учитываются колебания среднемесячной температуры. Учитывается блошиный индекс. Учитывается эпидемический потенциал участка очага для первичного района (степень контакта населения с источником инфекции + комплекс социальных условий). Ошибиться нельзя: если завысить прогноз - это миллионы лишних денег на профилактические реботы, занизить - недостаточное выделение средств на профилактику - вспышка, а то и эпидемия чумы. Так вот, если Вы мне это дело посчитаете на калькуляторе (хотя бы в течение полугода ), то я перед Вами не только капюшон защитного костюма сниму, но и шапочку...

Опять petitio principii... Ну да мы уж привыкли...
См. топик http://forum.disser.ru/index.php?showtopic=397 как пример...
А почему Вы думаете, что старший НАУЧНЫЙ сотрудник не имеет отношения к медицинской науке и доказательной медицине? Что, опять argumentum ad hominem, а?
Т.е. в своём рассуждении Вы опять-таки допускаете логическую ошибку ignoratio elenchi (подмена тезиса). Речь шла не о том, какие программы нужны статистику, а о том, как лучше обработать свои результаты врачу. И в результате длительных рассуждений мы таки пришли к выводу, очевидному изначально: каждый для стат. обработки пользуется теми программами, что представляются наиболее удобными. Нет "должных" и "недолжных" программ, если они выдают корректный результат. И программы-самоделки в этом ряду не на последнем месте. Особенно в свете борьбы за копирайт.

В продолжение дискуссии. Любопытно, что модульный принцип (одна программа / программный модуль - один метод) для решения сложных задач, разбиваемых на задачи более простые поддерживается и в Вашем собственном ВУЗ'е - Томском гос. университете. 23-го марта будет вынесена на публичную защиту кандидатская диссертация А.А. Макунина на тему "Технология построения модульных автоматизированных информационных систем для сложных предметных областей и её применение на примере информационной поддержки системы муниципального заказа органов местного самоуправления". Поскольку философия работы полностью отвечает моим собственным представлениям (хотя методология в отдельных моментах спорна), то позволю себе просто процитировать:
"Сложные предметные области содержат в себе очень большое количество объектов разных типов, большое число связей между ними, а также сложные процессы обработки информации (...) ... для их (информационных систем для этих предметных областей - А.К.) построения применяется методология "сверху-вниз" (т.е. от общего к частному, разбивка сложной задачи на группу простых - А.К.), что позволяет полностью охватить всю предметную область и точнее её формализовать... (...) ...управление сложностью является важным моментом разработки почти всех программных систем. При этом чаще всего используется фундаментальный приём ограничения сложности - разделение на части (блоки, модули) по функциональному назначению. Для решения таких задач (разработка программного обеспечения для сложных предметных областей - А.К.) требуется технология, позволяющая поэтапно создавать программный продукт частями, запуская их в эксплуатацию по мере разработки компонентнов и расширения рамок охвата предметной области."
На примере. В перспективе (если получится) я хотел бы разработать программный комплекс "Автоматизированное рабочее место эпидемиолога". Если бы я разрабатывал его как единую систему, то а) на это потребовалось бы несколько лет; б) программа была бы полна трудноуловимых ошибок из-за сложности структуры; в) имела бы основной недостаток коммерческих статистических пакетов: при изменении предметной области эпидемиологии, появлении новых методов анализа пришлось бы обновлять полностью всю программную систему, при этом пользователь был бы вынужден тратить сетевое время на обновление всего продукта.
В настоящее время у меня готово только 2 модуля (программы KIncidence и EpiTrend), но: 1) каждый из них представляет законченное программное решение, неоднократно тестированное как автором, так и пользователями на предмет ошибок. 2) Оба модуля решают частные задачи, но могут использоваться как единый программный комплекс: так, помесячную / годовую заболеваемость на 100000, 1000 или 100 населения (в зависимости от задачи) я считаю с помощью программы KIncidence, а расчёт эпидемической тенденции и краткосрочного прогноза заболеваемости - с помощью программы EpiTrend. При этом оба модуля могут использоваться и независимо: так, помощнику эпидемиолога нужна только программа KIncidence, а врачу-эпидемиологу, использующему уже готовые показатели заболеваемости - только EpiTrend.



Охотно верю. Но разве задача биомедицинского исследования заключается в получении максимального количества информации? Максимум информации - это "белый шум" и практического применения иметь не может. Не следует забывать, что медицина - это наука практическая, а избыток информации: а) мешает восприятию результатов; б) как следствие, мешает их внедрению; в) затрудняет критическое восприятие исследования и таит опасность множества логических ловушек.
Работа, ориентированная не на достижение конкретного практического результата, а на получение максимума информации - кандидат на получение Шнобелевской премии...
Кстати, говорю это как рецензент ряда дисс. работ: если кто-то не знал, то чрезмерная затратность исследования (а она неизбежно возрастает при попытке усложения анализа) считается дефектом планирования работы, если она выполнялась на бюджетные средства, а избыточная информационная насыщенность - к недостаткам методологии ислледования.
Наглядный пример вреда избыточности информации при проведении математически корректных исследований даёт нам история. В 60-70 годы в странах Запада были разработаны новые типы детерминированных и стохастических моделей эпидемий, ориентированные на изучение закономерностей развития социально-значимых вирусных и бактериальных инфекций (цит. по Anderson, May, 2004). Однако, несмотря на высокую сложность таких моделей и изощрённость математического аппарата, большинство моделей имели абстрактный характер, т.к. они были слабо связаны с постановкой и решением практических задач эпидемиологии. Дело в том, что ведущие научные центры по изучению эпидемий в США и в странах Западной Европы в то время располагались в университетах или в медицинских школах при университетах, которые были достаточно далеки от реальных проблем эпидемиологии, её реальной практики. В свою очередь, эпидемиологи плохо воспринимали абстрактные математические (детерминированные или стохастические) модели эпидемий и вспышек и не могли их сочетать с практическими потребностями. Поэтому в 70-е годы XX века на Западе наметился серьезный разрыв между ?чистой? теорией математического моделирования эпидемий и реальной практикой применения этой теории в эпидемиологии. Результатом стало появление "доказательной медицины", чей математический аппарат примерно соответствует уровню подготовки студента 3-го курса санитарно-гигиенического факультета советской школы.
Если взять за пример отечественную (СеНеГальскую науку), то в 60-е годы XX в. академик О.В. Бароян и профессор Л.А. Рвачёв разработали методологию математического моделирования эпидемий ? ЭПИДДИНАМИКА. Данная методология основана на методе научной аналогии и отображении эпидемического процесса (процесс ?переноса? возбудителя инфекции от больных к здоровым) с процессом ?переноса? материи (энергии, импульса и др.) в уравнениях математической физики. Система уравнений, которая описывает развитие эпидемического процесса, представляет собой систему нелинейных уравнений в частных производных с соответствующими начальными и граничными условиями, весьма схожими с уравнениями гидродинамики. Несмотря на высокую точность прогноза и изощрённость матеатического аппарата, практические эпидемиологи испытывают трудности при применении данной методологии в связи с её высокой сложностью и не могут сочетать её с практическими потребностями. Так, для моделирования эпидемии гриппа необходимо решить систему нелинейных интегро-дифференциальных уравнений в частных производных: начальные условия ? 3 уравнения, граничные условия ? 2 уравнения и эпидемический процесс ? 4 уравнения.
С другой стороны, А.А. Шапошниковым (Всероссийский центр медицины катастроф ?Защита?) в 1995 г. была предложена простая, легко доступная для практического применения, математическая модель эпидемического процесса в зонах ЧС, базирующаяся на модифицированной формуле А.М. Мясненко (1983), на основе произвольно отобранных показателей. Несмотря на то, что валидность формулы не выдерживает критики, угадайте с трёх раз, какую модель прогноза используют врачи в своей практической работе?
А ведь весьма сложную задачу можно было просто решить, разбив её на 3 части:
1) Прогноз заболеваемости без учёта демографических процессов и внедрения профилактических и противоэпидемических мероприятий;
2) Влияние на эпид. процесс демографических показателей;
3) Влияние на эпид. процесс внедрения инноваций противоинфекционной защиты населения.
Т.е. опять-таки "нисходящий принцип" от общего к частному - вначале разбиение сложной задачи на простые части (анализ), каждая из которых решается простыми средствами, а затем сиетез с построением на основе полученных данных более общих выводов. Этот подход позволил нам разработать собственную систему прогноза заболеваемости для внутреннего использования, апробированную в период землетрясения Жамбылской области, заключающуюся всего в 2 формулах.
Вывод: разнообразие методик и обилие полученной информации - отнюдь не признак качества работы. Напротив, в работе должен быть необходимый МИНИМУМ методик исследования, ведущий к получению достаточного минимума информации.

Ваше утверждение "Максимум информации - это "белый шум" наглядно иллюстрирует уровень понимания проблемы. То, то для любитель воспринимает как "белый шум", профессионал воспринимает как информацию. В это всё отличие. В научных исследованиях информации много не бывает. Более того, необходимость избыточности инормации постулируется и является необходимым условием любого реального исследования. Наш полемика заходит в тупик как раз потому, что мы придерживаемся разных концепций относительно этого главного момента.



Ваше утверждение о том, что "что медицина - это наука практическая" по меньшей мере наивно. Во-первых, далеко не всегда медицина, это наука. Подчас это нечто очень далёкое от науки. За примерами можете зайти в раздел КУНСТКАМЕРА сайта БИОМЕТРИКА. Скоро будет обновление этого раздела новыми, более свежими экспонатами, датированными началом 21 века, которые как раз подтверждают это моё утверждение. Во-вторых, медицина это ещё и вид деятельности, занятий, ремесло, профессия и т.д. В-третьих, все науки, а не только медицина, имеют в той или иной мере практическую направленность.




Тот, кто считает что конкретный практический результат можно получить без максимума информации, рискует не получить ни только никакой премии, но и вообще никакого результата. Слабость Вашего утверждения относительно максимума информации в том, что каждый из читающих эти строки по своему понимает что такое "максимум информации". Так же, как "Что такое счастье, каждый из них понимал по своему..." (А. Гайдар, "Чук и Гек").


Поскольку каждый из нас достаточно полно изложил свои взгляды на обсуждаемую проблему, считаю продолжение дискуссии бесплодной.


Желаю успехов!

Прошу прощения за вторжение в чужую дискуссию, но подобные заявления не могут оставлять равнодушным... Не вижу ничего наивного в в вышеуказанном утверждении Dr_Andrew - медицина всегда была, есть и будет наукой именно практической! Никакие теоретические выкладки не имеют смысла без конкретных практических точек приложения. Что же касается примеров на которые ссылается Leonov, то вызывает недоумение, насколько корректно делать обобщающие выводы относительно научной направленности всей медицины в целом на основании отдельных индивидуальных ошибок конкретных научных работников?? Факт существования дельцов и "великих комбинаторов" от науки - общеизвестен, однакоже, из этого ничуть не следует что вся наука - сплошное надувательство...
Вообще, использование в качестве аргументов чужих ошибок, да еще с публичной оглаской, представляется, мягко говоря, не совсем корректным, не говоря уж - коллегиальным - это моя личная точка зрения.

Так чем же этому противоречит утверждение Dr_Andrew, что медицина - наука практическая?!
Решительно не въезжаю...

Забавно, насколько далеко попытка доказать право на жизнь непроприетарного софта завела от собственно первоначальной темы дискуссии. Камешек вызвал лавину. Что, в общем-то, и хорошо было бы, если бы была дискуссия. Увы! диалог с моим оппонентом сильно напоминает разговор научного сотрудника с заместителем директора института: один доказывает, а другой утверждает и вещает со своих высот, доказательствами не затрудняясь. Неоднократно просил привести пример тех сложных задач, которые нельзя было бы решить простыми методами, и на которые так загадочно намекает В. Леонов (даже не для дискуссии, ну просто любопытно!), но нет. Нет, видать, должного уровня посвящения в таинства.
Вот и теперь мимоходом прошлись по моему "уровню понимания проблемы" (кстати, какой? ), хоть и упоминал я уже, что увязывать аргументацию с личностью собеседника - это ошибка с точки зрения формальной логики (да и неэтично, IMHO). Мог бы и я пренебречь этикой научной дискуссии, ехидно заметив, что уж биостатистику стоило бы знать тот объём теории информации, который изучают на 1-м (первом) курсе медицинского ВУЗа, и не приписывать мне утверждение, которое, хм... моим не является, но не буду. Единственно замечу, что насчёт "уровня понимания проблемы" - это к товарищам Винеру и Шеннону. Впрочем, я их мнение разделяю. А что, собственно, в нижеприведённом не так с позиции Вашего видения?
1. Любые физические характеристики материи образуют сигналы.
2. При взаимодействии сигналов с физическими телами (в составе измерительных систем последние называются датчиками) в этих телах возникают изменения свойств - регистрация сигналов.
3. Зарегистрированные сигналы образуют данные.
4. Данные несут в себе информацию, которая извлекается из них посредством адекватных методов.
5. Информация с точки зрения диалектики - это одно из универсальных свойств материи, её атрибутов (наряду с движением и т.п.), т.е. информация - это проявление основополагающего принципа философии - отображения материи.
6. Информация обычно не используется в месте своего возникновения, её приходится передавать в пространстве и во времени с помощью искусственно созданных или естественно возникших каналов.
7. Белый шум - это стационарный шум, случайный сигнал, спектральные составляющие которого равномерно распределены по всему диапазону задействованных частот канала. Иными словами, каждая частота имеет равную силу в любой точке данной полосы пропускания канала, равную вероятность своего проявления.
8. Исходя из этого определения, белый шум не может нести информации, это нечто абсолютно не информативное, не коррелированное. Иначе он был бы не "белым", а как-то информационно "окрашен". Понятно, что это абстракция и реальные шумы всегда "окрашены".
9. С другой стороны, исходня всё из того же определения белый шум содержит в себе всю возможную информацию. Тем самым, белый шум - это не только математическая (информационная), но и очень серьезная философская категория, такая же, как бесконечность. Она (категория) является одним из проявлений закона диалектики "Единство и борьба противоположностей".
10. В качестве наиболее частого примера п. 9 в руководствах по теории информации приводится знаменитый опыт со стеклянной призмой, через которую пропускают луч белого света, показывая тем самым, что он несёл в себе все частоты (радуга). Пропуская свет через вторую призму, мы получаем на выходе белый луч, который уже не несёт информации о цвете. Это является проявлением второго закона диалектики "Закон отрицания отрицания".
Тем самым, утверждение "Максимум информации - это "белый шум" является фактом, объективной реальностью. Имеющим проявления на физическом плане, если угодно.
Так что мой уровень понимания опирается на философскую и естественнонаучную основу. А как насчёт Вашего? Я насчёт реплики То, что для любитель воспринимает как "белый шум", профессионал воспринимает как информацию. Нет, или я чего-то не понимаю, или Вы всерьёз пытаетесь меня уверить, что для профессионала-биостатистика фундаментальные законы материального мира работают как-то иначе, чем для "любителя"???



1. В таком случае мне остаётся только порекомендовать Вам перечитать на досуге старенькие книжки по теории систем Винера. Любое научное изыскание есть построение модели той или иной естественной системы. А модель по определению менее информационно насыщена (менее сложна) нежели породившая её система. Т.е. научное изыскание - это отсечение лишней, ненужной информации и акцентуация внимания на нужной, т.е. информационное обеднение системы.
2. В связи с п. 1 следует отметить, что информация, определенная по Шеннону, не различает полезную информацию от полной. Если я передаю сигнал из 8 бит, то принятая на другом конце информация равна изменению энтропии. Если 1 бит зашумлен, то принятая информация всё равно равна 8 бит. Однако, полезная информация равна только 7 битам. Это не означает, что этот 1 бит нераспознанной информации не содержит информации. Он несет какую-то информацию об источнике шума. Разумеется, этот шум несёт в себе много информации. Например, о тепловых колебаниях среды и деталей усилителя. Это вполне настоящая информация, и она вполне может быть полезной в определенных экспериментах. Но обычно мы от этой лишней информации стараемся избавиться. Например, если в радиоприёмнике, помимо музыки, слышим треск или морзянку, то мы настраиваем станцию, т.е. уменьшаем информационную насыщенность системы. Причём, исходя из определения белого шума, чем больше сложность модели, чем ближе она к системе, тем большая в ней степень зашумлённости, тем больше вероятность искажений результатов и трудноуловимых ошибок, о чём я уже писал. Если говорить о научных исследованиях, то вспомните формулу ускорения свободного падения. Там недаром приведено условие "измеренное в безвоздушной трубе": идёт опять-таки информационное обеднение модели путём исключения влияния трения воздуха и бокового ветра на падение тела.
3. Кстати, такое понятие научного исследования, как анализ есть ничто иное как информационное обеднение модели, когда сложная задача разбивается на несколько простых для их независимого решения. В этой связи не могу удержаться и не процитировать Вашу же лекцию: "Один из основных принципов системного анализа, который является методологической основой любых исследований, является совместное использование процедур декомпозиции и аггрегирования при изучении сложных систем. Живые организмы являются самыми сложными системами. Как и все сложные системы, они имеют в своей структуре подсистемы. Ещё Рене Декарт писал: "Расчлените каждую изучаемую вами задачу на столько частей, сколько требуется, чтобы их было легко решить"". So? Опять получается, что одна правда - для публики, а другая - для внутреннего применения?
4. Как я уже писал, информации в исследовании должно быть не максимально много, а минимально достаточно для решения поставленной задачи. Для того, чтобы доказать, что эпидемический процесс неуправляемой инфекции ведёт себя как автоволновая колебательная система, достаточно решить систему из двух нелинейных уравнений. Для чего в таком случае что-то ещё?
5. Понятно, что при увеличении количества объектов наблюдения, увеличивается количество получаемой информации. В этой связи: если цель научного исследования - получение максимума информации, то для чего нам методики планирования эксперимента / клинического наблюдения? Почему бы тогода ВСЕГДА не пользоваться сплошной выборкой?
6. Кстати, синтез также представляет собой вариант информационного обеднения системы: например, при эндотоксиновом стрессе на клетку действуют сотни разнонаправленных биохимических реакций, обусловливаемые продуктами липопероксидации, ферментами антиоксидантной защиты, белковыми молекулами низкой и средней молекулярной массы ("средние молекулы" - реанимационный жаргон), оксидом азота, эндогенными медиаторами, ферментами калликреин-киниовой и свёртывающей систем и т.д. и т.п. Значит ли это, что при изучении острого эндотоксикоза я должен учитывать все эти показатели? Да у меня просто лопнет череп! Поэтому необходимо снизить информационную насыщенность модели путём вычленения так называемых интегративных показателей, число которых ограничено, но которые с достаточной объективностью отображают сложные взаимодействия системы.



Вот Вы опять пишете: "постулируется". Это, по-Вашему, дискуссия? КЕМ постулировалось, КОГДА постулировалось и ПОЧЕМУ мы ДОЛЖНЫ ВЕРИТЬ этим постулатам? Простите, но ссылки на авторитет здесь не прокатят. Здесь не студенты собрались, которым можно цыкнуть "так правильно, потому что ты глупый мальчик". Здесь вообще-то врачи наличествуют, представители самой трудной для освоения специальности, в том числе и имеющие опыт научных исследований. Доказывать нужно. Вспомните соотношение аксиом к теоремам в геометрии. Утверждений, не требующих доказательств, не так много, всё больше теорем, даже для вещей, кажущихся очевидными. Доказывать нужно, а не постулировать, тем более, что "необходимость избыточности инормации" отнюдь не является утверждением, не требующим доказательств (см. выше). А доказательной базы с Вашей стороны нет.



На это достаточно полно ответил автор предыдущего поста (Малыш), так что спасибо за избавление меня от необходимости лишний раз пальцем в клавиши тыкать.
Медицина - это ВСЕГДА синтез науки и искусства, поскольку каждое решение врача основывается на современных научных данных в преломлении его профессионального опыта и интуиции, и принятие или непринятие этого факта кем бы то ни было объективную реальность не меняет. Вы ведь таким тонким предметом, как наукометрический анализ, занимаетесь, осторожнее в выражениях быть нужно...
А неправильное применение эпидемиологического метода в медицине (составной частью которого является медицинская статистика) уменьшает доказательную базу, но отнюдь не научность. В конце концов, даже просто наблюдение - это метод научного познания мира. Не верится, что Вы, биостатистик, не знакомы с классификацией Кохрановского общества научных медицинских исследований: 1) описание отдельных случаев; 2) описание серии случаев; 3) ретроспективное исследование случай-контроль и т.д. Скорее, скрываете из полемических соображений. Так и хочется спросить: "Чем же Вас так медицина обидела?"



Ну, и кому Вы это пишете? Я, pardonnez-moi, к должности с.н.с.-а пришёл от санитара через санитарного инструктора роты, медбрата и т.п. К чему азбучные истины? В любом случае медицина - это наука (см. выше). Практическая, прикладная наука. И весь сказ.



Простите, а давно деление наук на фундаментальные и прикладные отменили?



До сих пор получали. И что любопытно, на практике работает... Всегда считал, что наука - это не просто удовлетворение собственного любопытства за казённый счёт... Но конечно, можно пойти и по пути лауреатов Шнобелевской премии 2005 г., создавших на основе физических выкладок прекрасную математическую модель полёта фекалий пингвина. Я в восхищении...



Да уж... Присоединяюсь! И Вам успехов!