Оппенгеймер 2.0: искусственный интеллект в здравоохранении сравнили с ядерным оружием
Оппенгеймер 2.0: искусственный интеллект в здравоохранении сравнили с ядерным оружием
27.11.2023 16242
Впервые Росздравнадзор приостановил применение не простого медицинского изделия, а программного продукта на базе искусственного интеллекта – Botkin.AI. Причиной стало непредоставление отчетов о безопасности и клинической эффективности системы. Также регулятор направил заявление в прокуратуру Москвы о необходимости проведения внепланового выборочного контроля в отношении производителя этой системы «компьютерное зрение» – компании «Интеллоджик».
Росздравнадзор впервые приостановил применение продукта, в основе которого технология искусственного интеллекта (ИИ). Речь идет о программном обеспечение (ПО) для визуализации и обработки медицинских снимков Botkin.AI.
«Программное обеспечение с технологией искусственного интеллекта подлежит пострегистрационному мониторингу безопасности и клинической эффективности, отчеты о которых анализируются Росздравнадзором. Вместе с тем, несмотря на неоднократные требования Росздравнадзора, указанные отчеты от производителя Botkin.AI в службу не поступали», – говорится в сообщении регулятора.
Кроме того, в ходе проводимого службой мониторинга безопасности медицинских изделий в отношении Botkin.AI были выявлены отклонения в характеристиках (результаты работы ПО с ИИ) относительно заявленных при его государственной регистрации. Все это создает угрозу причинения вреда жизни и здоровью граждан, посчитали в Росздравнадзора.
Помимо приостановки применения системы регулятор инициировал проведение внепланового выборочного контроля в отношении производителя Botkin.AI компании «Интеллоджик». Заявление и документы направлены в прокуратуру Москвы. По итогам проверочных мероприятий будет сделан вывод о возможности дальнейшего обращения данного медицинского изделия, резюмировали в Росздравнадзоре.
По данным службы, сегодня в нашей стране зарегистрировано 24 медицинских изделия, относящихся к ПО с технологией ИИ, 19 из них — отечественные разработки (для сравнения: в США количество одобренных для применения в здравоохранении медицинских изделий с технологиями ИИ приблизилось к 700). Для анализа диагностических изображений предназначены 19 продуктов (16 – российские), в том числе медизделие «Обеспечение программное прикладное «Botkin.AI» для визуализации и обработки изображений стандарта DICOM по ТУ 58.29.32-001-45146066-2020». ООО «Интеллоджик» получило регистрационное удостоверение на свой продукт в ноябре 2020 года.
С одной стороны, это хорошо, что пострегистрационный контроль работает, и если производитель не готов отчитываться перед регулятором, как положено, вполне логично, что применение его продукта будет останавливаться. Тем более что прогресс не остановить, и в планах Правительства страны — еще активнее внедрять ИИ в здравоохранение. В частности, премьер Михаил Мишустин поручил Минздраву, Минфину и Минэкономразвития проработать план мероприятий по внедрению технологий искусственного интеллекта (ИИ) в сфере здравоохранения, а также первым двум ведомствам — предусмотреть с 2025 года финансирование в рамках федпроекта «Цифровые сервисы здравоохранения».
В рамках национального проекта «Здравоохранение» Минздраву, Минфину и Минэкономразвития до 15 февраля 2024 года надлежит обеспечить формирование необходимой системы управления реализацией мероприятий по внедрению ИИ в сфере здравоохранения. Ранее Минздрав обязал регионы внедрить не менее одного решения с ИИ до конца года. В следующем году их должно быть уже два.
Дальше — больше. Минздрав проводит оценку возможностей использования ИИ при создании (генерации) новых тестовых заданий и ситуационных кейсов для аккредитации медицинских и фармацевтических работников в соответствии со спецификацией оценочного средства (специальность, дисциплина, нозология, трудовые функции), рассказала заместитель министра здравоохранения Татьяна Семенова. Это поможет сделать процедуру более трудной, требующей от врачей тратить больше времени на самообразование.
Создание качественного оценочного инструментария для аккредитации — трудоемкий процесс, который включает не только разработку, но и обязательную экспертизу качества, привлечение большого количества профессионалов из числа профессорско-преподавательского состава медицинских вузов, научных организаций и представителей медицинской общественности. По словам Семеновой, такой инструментарий создан, но банки оценочных средств нуждаются в постоянной актуализации, особенно в контексте того, что регулярно обновляются клинические рекомендации и оборудование, меняется нормативно-правовая база.
«Приказ Минздрава России № 709н от 28.10.2022 «Об утверждении Положения об аккредитации специалистов» содержит такое понятие, как «Единая база оценочных средств», содержание которой сейчас наполняется Методическим центром аккредитации специалистов вручную, — прокомментировал заявления Семеновой главный редактор портала Pravo-med.ru Алексей Панов. — Полагаю, что это достаточно трудоемкая профессиональная деятельность, требующая высокой квалификации специалистов по множеству специальностей. Не знаю, насколько она оплачиваемая».
Кроме того, Единую базу оценочных средств необходимо регулярно обновлять, чтобы аккредитуемые не расслаблялись и не шли по пути запоминания правильных ответов, добавил эксперт. По его оценкам, если ИИ станет генерировать неповторяющиеся тестовые задачи и ситуационные кейсы, они станут более трудными, соответственно, вырастут трудозатраты врачей и медсестер на подготовку к аккредитации. А я думаю, что наверняка найдутся и те медработники, кто не сможет пройти тест от ИИ, или даже не захочет тратить свое время и силы на то, чтобы “бодаться” с искусственным разумом, предпочтут перейти на другую работу. Кто тогда будет нас лечить?
По мнению примерно трети москвичей, — нейросети. Именно они в будущем способны заменить врача. Таковы итоги телефонного опроса 800 жителей столицы, проведенного Центром медико-социологических исследований НИИОЗММ. С другой стороны, доля тех, кто в это не верит, все же заметно выше — 41%. Скорее не верят еще практически четверть (23%). Безусловно, скептиков больше среди представителей старшей возрастной группы (65+).
И этот скепсис тоже вполне оправдан. О своем личном, не самом удачном опыте взаимодействия с чат-ботом, когда на вопрос о лечении боли в животе мне посоветовали проконсультироваться с ветеринаром, я уже рассказывал.
ИИ может произвести революцию в здравоохранении, улучшив диагностику заболеваний, найдя лучшие способы лечения пациентов и предоставив помощь большему количеству людей, однако его развитие может оказать негативное воздействие на здоровье, — такое мнение весной этого года высказали медицинские работники из Британии, США, Австралии, Коста-Рики и Малайзии.
В ходе исследования GPT Playground компании OpenAI была изучена на предмет ее способности способствовать генерации больших объемов дезинформации, связанной со здоровьем. В исследование были включены и общедоступные генеративные платформы ИИ. Всего за 65 минут авторы работы создали 102 статьи в блогах, содержащие более 17 тыс. слов дезинформации, связанной с вакцинами и вейпингом. Кроме того, в течение пяти минут, используя технологию ИИ-аватаров и обработку естественного языка, команда создала фейковое видео, в котором медицинский работник пропагандирует дезинформацию о вакцинах. Видео можно было легко перевести на более чем 40 языков. И это не единственное исследование в этой области, которое подчеркивают острую необходимость усиления бдительности в области ИИ.
При этом не только в научных журналах, но и в обычных СМИ регулярно выходят статьи о том, что инструменты с использованием технологии ИИ вызывают обеспокоенность самого разного свойства: от вредных советов на запросы пользователей сети о своем здоровье до вытеснения некоторых работников с рынка труда. Так, по оценкам Goldman Sachs, до 300 млн рабочих мест с полной занятостью во всем мире в конечном итоге могут быть каким-то образом автоматизированы с помощью генеративного ИИ. А где-то человека полностью заменит искусственный разум. Согласно апрельскому отчету Всемирного экономического форума, только в ближайшие пять лет из-за этого может исчезнуть около 14 млн рабочих мест. Массовая безработица наихудшим образом отразится в первую очередь на психическом, а затем и на физическом здоровье людей.
Разработчиков в сфере решений на базе ИИ американские журналисты призывают посмотреть фильм “Оппенгеймер”, таким образом проводя параллель между ИИ и ядерным оружием: “Обе технологии являются мощными инструментами, которые изменят траекторию развития человечества”.
По мнению директора Национального центра развития искусственного интеллекта (НЦРИИ) при правительстве РФ Сергея Наквасина, сравнение ядерной энергетики и ИИ не лишено смысла. Технологии ИИ могут на следующих этапах развития превзойти по степени опасности ядерное оружие из-за риска потери человеком возможности отключить такие системы в сфере критической инфраструктуры, к коим относится и здравоохранение.
