В 2022 году утверждены несколько любопытных документов:

ГОСТ Р 59921.1-2021 Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания
ГОСТ Р 59921.2-2021 Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний
ГОСТ Р 59921.3-2021 Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением
ГОСТ Р 59921.4-2021 Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров
ГОСТ Р 59921.5-2021 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов
ГОСТ Р 59921.6-2021 Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации

Воспроизводить ГОСТ на форуме запрещено, но каждый может легко найти тексты документов на информационно-справочных ресурсах, в том числе на официальных сайтах правовой информации. Приглашаю коллег ознакомиться и высказаться.

Я хоть и не коллега по медицине, но выскажу свое фе. Просмотрел мельком один из документов (ГОСТ Р 59921.4-2021 - уж больно название заинтересовало) - это глубочайший беспросветный мрак. Документ сам похож на результат работы некого ИИ (хренового при том), надергавшего определения терминов из различных областей знаний (прикладной статистики, машинного обучения, автоматизации производства и др.) и замутившего из этого дела забористый, но не имеющий практического смысла микс. При том техническая сторона прогностических моделей машинного обучения (видимо, именно это имелось в виду авторами под ИИ, хотя из данного ими определения совершенно не очевидно) изложена на 3 с минусом. Особенно хреново с мерами оценки качества модели (специфичность, чувствительность, точность классификатора и на том все). Это даже для бинарной классификации не во всех случаях годится, а там ведь приведенный список "категорий ИИ" бинарной классификацией далеко не исчерпывается. В общем и целом, сей документ - шлак, созданный кем-то, глубоко не вникавшим в тему, на от...цепись.

Можно, конечно, заявить, что это в равной степени касается всех выкидышей современной российский бюрократии, но это будет не совсем правда. Во всяком случае ГОСТы по анализу пчелиного меда, которые мне довелось довольно плотно изучать, вполне конкретны, информативны и полезны. Выходит, чиновники, занимающиеся нормативно-правовыми аспектами торговли продуктами пчеловодства намного компетентнее имеющих отношение к медицине

Два аспекта хотелось бы отметить.

1. Научный.

Любую задачу диагностики и прогнозирования можно свести к бинарным выводам (простейший случай выводов да/нет, более сложные - совокупность да/нет по группам). ROC-анализ здесь уместен. Хотелось бы видеть в источниках по ИИ больше алгоритмов и математики, но это, наверное, не задача нормативных документов. Для методики испытаний сказанного в документах достаточно.

2. Нормативный.

В документах красной нитью проходит идея считать ПО, применяемое для диагностики и принятия решения по тактике лечения, медицинским изделием со всеми вытекающими последствиями. Фактически это - создание препятствий для разработки систем ИИ* указанного назначения в неспециализированных научно-медицинских учреждениях. Но данные вопросы регулируются не ГОСТ, а приказами уполномоченных учреждений.

* Под разработкой понимаем не только НИОКР, но и обучение готовой системы ИИ под свои задачи и на основании своих данных.

Одно общее замечание.
Термину "Искусственный интеллект" - место в научно-популярной литературе, в маркетинговых статьях, в материалах по профориентации школьников и в фильмах, где герой с помощью этого самого ИИ спасает то-ли человечество то-ли собачку соседа.
В серьёзной научной литературе, тем более в ГОСТах, тем более по медицине - это чистая профанация и попытка сыграть на хайпе. Ну или пустить пыль в глаза вышестоящему начальству.

passant, в этом бюрократическом выкидыше, в разделе "Библиография" - ссылка высочайший указ, содержащий именно это словосочетание - "искусственный интеллект". И очень похоже, что докУмент являет собой судорожную попытку чьего-то не слишком сильного естественного интеллекта подогнать нормативную базу под это-самое неопределенное словосочетание. В итоге, кажется автор решил, что имелись в виду прогностические модели бинарной классификации, чему и посвятил большую часть текста, но на всякий пожарный не забыл сколь упомянуть и всякое-разное иное, что под этот термин в сфере медицины можно подогнать. Под его формулировку "медицинского ИИ", подойдет, к примеру, некая автоматическая самонаводящаяся клизма, но причем тут чувствительность и специфичность неясно.

Игорь, а разве там есть упоминание ROC? Может, пропустил. И даже если б было оно, то далеко не для любой задачи прогнозирование меры связанные с ROC оптимальны. Даже при простой бинарной классификации. А уж сводить к ней, например, регрессию непрерывной величины - это все равно, что удалять миндалины через анус.

П. 8.3. первой части и далее до конца документа.

Нужно посмотреть, как врач или исследователь ставит диагноз или дает заключение (достаточно открыть карточку пациента). И это не некоторая функция (в математическом смысле), а ответ в виде да/нет на вопрос о наличии того или иного симптома или заболевания с формулировкой последнего в соответствии с официальной классификацией (МКБ, МКФ). Даже анализ некоторых распределенных во времени и пространстве параметров (ЭКГ, УЗИ, натурное изображение, рентгенография, в том числе наблюдения в динамике) сводится в заключению типа да/нет относительно вопроса о наличии того или иного симптома или особенности изучаемого материала. Затем следует выбор метода лечения в виде медико-экономического стандарта, включая оперативные вмешательства, ведение, препараты, манипуляции и т.д. Если все было сделано верно, больной выздоравливает (опять же результат: здоров - да/нет, годен/ не годен; осложнения - да/нет). Процедуры, относящиеся к постановке диагноза на основе корректно установленных симптомов, могут быть вполне формализованы в виде системы ИИ, определение которого дается в п. 3.10 цитируемого источника.

Надо сказать, что анализ бинарных данных не прост. Вот здесь наше скромное руководство по методам можно посмотреть https://sourceforge.net/projects/me-com/files/doc/. Прикладываю, если не удастся скачать.

Критическое замечание. Рис. 2 первой части ГОСТ вызывает сомнение. ROC кривая не может быть гладкой. Исходя из методики построения ROC кривая должна изображаться в виде лесенки (п. 4.2.7. Руководства, упомянутого в предыдущем абзаце).

Очень странно, что ROC упоминается в 1-й части, но не в 4-й, навевание которой как бы намекает. Читал только 4-ю (т. к. название заинтересовало), увидев, какая там хрень, на остальное времени тратить не стал. Так что, может, там где рациональное зерно и есть, но выискивать ложку меда в бочке дегтя - так себе удовольствие.

Категорически не согласен с тем, что все в медицине можно свести к да/нет. Например, вместо расспроса пациента после операции о самочувствии задать один вопрос: "Тебе хорошо или плохо?" Ответит "хорошо" - тут же на выписку, ответит "плохо" - на повторную операцию. Ну или примеры вопросов более философских: "Счастливы ли Вы в жизни (да/нет)?", "Полезен ли индивидуум обществу (да/нет)", "Желания порождают страдания (да/нет)?"... Что касается математической формализации, то в большинстве случае пресловутое да/нет полезно заменить на вероятность "да", и большинство современных моделей машинного обучения таки ее выдают. А от этой непрерывной величины уже очень удобно плясать в конструировании мер ошибки модели. С ROC при несбалансированных классах (а в медицине практически всегда так) не все непросто:

В основе системы ИИ могут использоваться различные технологии, в том числе вероятностные.

Но полезно сначала изучить процессы в ЛПУ, с которыми мы имеем дело, чтобы "не отрываться от коллектива". Начато создание ресурса, с которым можно ознакомиться по адресу https://cr.rosminzdrav.ru. И особенно посмотреть вот этот документ с данного сайта "https://apicr.minzdrav.gov.ru/static/DevelopCR/Критерии оценки качества медицинской помощи.docx". Где здесь вероятности? Вправе ли мы настаивать, что вероятность того или иного диагноза, скажем 0,87? Доктор так и запишет в историю болезни и будет на 87% лечить, а фонд ОМС оплатит 87% затрат?

Тот же логистический или пробит анализ выдает результат распознавания, имеющий смысл вероятности. Подчеркиваю, не вероятность, а смысл вероятности, которая, вообще говоря, сама по себе ничего не означает. Это не окончательный результат распознавания. Окончательный результат - продукт "огрубления" количественной величины до дихотомической порогом отсечения в зависимости от принятых чувствительности и специфичности. При этом чувствительность и специфичность того или иного диагностического теста сообщаются пользователю (доктору), который принимает однозначное решение и берет на себя ответственность.


Удовлетворенность пациента - есть такой параметр. Но этот параметр далеко не единственный и даже не основной, и решение о выписке только на его основе не принимается. Есть еще много других параметров, например, биохимический анализ крови. И там почти все показатели количественные! Но ... в первой колонке бланка указано наименование параметра, во второй - его значение у пациента, в третьей - интервалы или значение нормы. А результат (во всяком случае для терапевта)? Укладывается ли значение параметра в норму - да/нет!

Наша полезная дискуссия переходит в обсуждение шкал (в соседней ветке форума обсуждение аналогичное). Поэтому определимся - чем количественные шкалы отличаются от качественных в практическом смысле? Ответ парадоксальный - только количеством градаций. Реально измеряемый количественный показатель, например, возраст, для практических целей классификации пациентов принято переводить в качественные переменные - возрастные группы (стандартно - по годам). Хотим более точно (по месяцам) - будет просто больше индикаторных (бинарных) переменных.

Логит и пробит - классические регрессионные техники, их конечный результат, как ни странно, логит и пробит (могут быть переведены в смоделированные вероятности, ну или величины имеющие смысл вероятностей, если Вам так больше нравится). И да, регрессионные кривые при этих видах анализа сильно более популярны, чем ряды нулей и единиц.

Мнение Фрэнка Харрелла по данному вопросу: https://www.r-bloggers.com/2020/11/frank-ha...chine-learning/
Встречал примерно это же в виде статьи (наверное, под чуть иным заголовком), но сейчас быстро найти не смог. Тогда ссылку не сохранил, поскольку преимущество "результата распознавания, имеющего смысл вероятности" над жесткой бинарной классификацией казались для меня самоочевидным. Но теперь ясно, что есть иные мнения.

Что касается диагноза, и прочих принятия решений, то это работа врача, а не компьютерной программы. Надеюсь, Вы не станете возражать, что выдача программы типа "вероятность скорой смерти пациента составляет 0,51", гораздо полезнее, чем "пациент умрет - готовьтесь освобождать койку".

Предлагаю перейти в практическое русло и посмотреть, как работает медицинская система ИИ.

Обзор Российских систем искусственного интеллекта для здравоохранения https://webiomed.ru/blog/obzor-rossiiskikh-...avookhraneniia/

Демонстрационная версия по одному из разделов https://webiomed.ru/products/webiomed-dhra/

Рубрикатор клинических рекомендаций Минздрава я уже упоминал https://cr.minzdrav.gov.ru/

По-моему, всё это интересно. Организационные вопросы позже.

На моем браузере - никак не работает - вижу только каике-то пустые таблицы. И еще вижу жабаскрипт пейсбука (запрещен в РФ).

У меня в Opera с заходом извне России - все видно

Анализируя ресурсы по внедрению ИИ в здравоохранении, можно заметить, что по одним разделам (кардиология, онкология, внутренние болезни) достигнуты результаты, по другим (травматология, ортопедия) информации меньше. Данное интервью в какой-то степени объясняет неравномерность успехов https://www.cnews.ru/articles/2019-11-20_nm...etrova_glavnaya

Зарубежный опыт. "Маргарет Митчелл, главный специалист по этике Hugging Face, подчеркнула, что текущая политика применения решений OpenAI запрещает использование моделей для получения медицинских инструкций, поскольку генерирование ложной информации в клинических условиях может привести к трагическим последствиям." Ссылка: https://www.securitylab.ru/news/537738.php

И это правильно. Я не знаю и не могу оценить, как качественно СhatGPT ставит диагнозы и назначает лечение, но я вижу как СhatGPT пишет достаточно простенькие программульки. Если и диагнозы она ставить с таким-же качеством, то я бы очень не хотел попасть в круг ее "пациентов". По сути, на сегодняшний день СhatGPT - это такой себе усложненный поисковик, который пытается не просто дать ссылки с ответами на вопрос, как Google, но и извлечь из ответов какие-то связные мысли. Вот только любой, кто серьезно работает с Google знает, что даже отсечь полезную информацию от шлака в потоке выдачи - весьма не просто. И на сегодняшний день СhatGPT с этой задачей качественно справиться не в состоянии.

Говорят, в состоянии ... https://vz.ru/opinions/2023/5/2/1210060.html

По мнению ВОЗ, использование так называемого ИИ в здравоохранении возможно, но с осторожностью.
Ссылки:
https://www.securitylab.ru/news/538248.php
https://www.securitylab.ru/news/539807.php