С применением собственных наборов данных проведены оригинальные исследования 18 алгоритмов автоматизированного анализа диагностических изображений и одного алгоритма для распознавания естественного языка и анализа медицинской документации компаний-разработчиков из России, а также Бельгии, Великобритании, Индии, Испании, Китая, Нидерландов, ОАЭ, США, Южной Кореи.
В ходе исследования установлены следующие принципиальные проблемы:
1. Отсутствие в глобальной перспективе общепринятых инструментов научного анализа технологий искусственного интеллекта в медицине.
2. Отсутствие в глобальной перспективе стандартов или хотя бы общепринятых правил разметки данных и создания наборов данных.
3. Широко распространенные типовые проблемы со стороны разработчиков:
– отсутствие клинически обоснованного целеполагания;
– непонимание контекста применения автоматизации в реальных производственных процессах;
– отсутствие или пренебрежение стандартами, применяемыми в практическом здравоохранении;
– отсутствие методического понимания сути автоматизированного анализа медицинских изображений;
– плохая воспроизводимость результатов работы ИИ на новых данных;
– отсутствие стандартов при формировании наборов данных для обучения ИИ;
– игнорирование принципов объяснимости работы искусственного интеллекта;
– отсутствие независимой валидации алгоритмов на новых данных, в том числе в дизайне проспективных мультицентровых исследований;
– незнание или игнорирование принципов доказательной медицины;
– отсутствие внутренней системы менеджмента качества у компаний-разработчиков;
– низкая конверсия перспективных разработок в готовые продукты, сертифицированные в качестве медицинских изделий.
Вместе с тем предыдущий опыт автоматизации в области здравоохранения позволял рассчитывать на значительные положительные эффекты за счет внедрения ИИ и в лучевой диагностике. Более того, удалось объективно выявить ряд конкретных задач для такой автоматизации. Многие тестирования существующих решений на основе ИИ были достаточно успешными, алгоритмы надежно и качественно справлялись с клинически вполне обоснованными задачами. Все сказанное в совокупности вселяло оптимизм и убежденность в необходимости дальнейших научных исследований. При этом разработка методологий создания наборов данных и тестирования ИИ на этапах жизненного цикла определена в качестве одной из ключевых задач собственной программы научных исследований.