Национальный стандарт РФ ГОСТ Р 59921.3-2021 "Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением" (утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. N 1671-ст)

Artificial intelligence systems in clinical medicine. Part 3. Change management in Al systems with lifelong learning capability

УДК 615.841:006.354
OKC 11.040.01

Дата введения - 1 марта 2022 г.
Введен впервые

Предисловие

1 Разработан Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ") в соответствии с Программой национальной стандартизации на 2020 г.

2 Внесен Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. N 1671-ст

4 Введен впервые

Введение

Высокая итеративность, автономность и адаптивность систем искусственного интеллекта с непрерывным обучением требует отдельного подхода для поддержки жизненного цикла продукта, который включает улучшение продукта, обеспечивая при этом гарантии безопасного использования. Поэтому управление изменениями в системах искусственного интеллекта с непрерывным обучением является важным аспектом в работе с подобными типами алгоритмов.

1 Область применения

Настоящий стандарт предназначен для применения изготовителями (производителями) систем искусственного интеллекта (СИИ) с непрерывным обучением для управления изменениями в части адаптации и корректного формирования на данной основе соответствующих разделов технической и эксплуатационной документации СИИ.

Настоящий стандарт обеспечивает формирование некоторых общих требований к содержанию технической и эксплуатационной документации, а также структуры СИИ с непрерывным обучением изготовителями (производителями).

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые технические результаты вычислений из входных данных.

Примечания

1 См. [1].

2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.54.

3.2 данные реальной клинической практики; RWD (real-world data, RWD): Информация о состоянии здоровья пациентов и/или об оказании медицинской помощи, полученные из различных источников вне рамок предрегистрационных клинических исследований.

Примечания

1 Данные о практическом применении могут быть собраны из разных источников, например:

- электронные медицинские карты;

- заявления и действия по выставлению счетов;

- реестры медицинских изделий и заболеваний;

- данные от пациентов, полученные в том числе в домашних условиях;

- данные, собранные из других источников, которые могут информировать о состоянии здоровья, например, от мобильных устройств.

2 К частному случаю данных о практическом применении могут быть отнесены данные, собранные системой искусственного интеллекта после выхода в эксплуатацию, которые могут дать представление о работе продукта, используемого в условиях практического применения и при регулярном использовании пользователями.

3 См. [2].

3.3

искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Примечание - Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе, в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений. [ГОСТ Р 59277-2020, пункт 3.18]

3.4

изготовитель (производитель) (manufacturer): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени. Примечание - В определении термина "изготовитель" следует учитывать положения национальных и региональных нормативных документов. [Адаптировано из ГОСТ ISO 14971-2011, пункт 2.8]

3.5 клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.

Примечание - См. [1], пункт 7.0.

3.6

клиническая оценка (clinical evaluation): Результат процесса анализа и оценки клинических данных, имеющих отношение к медицинскому изделию, с целью проверки заявленной его изготовителем клинической результативности и клинической безопасности изделия при применении его в соответствии с назначением и в условиях, предусмотренных изготовителем. [ГОСТ Р 56429-2015, пункт 3.1]

3.7 набор данных (data set): Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.

Примечание - См. [3].

3.8 непрерывное обучение (дообучение, продолжающееся обучение) (continuous learning, continual learning, lifelong learning): Обучение, продолжающееся на протяжении всего жизненного цикла системы искусственного интеллекта.

3.9

система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта. [Адаптировано из ГОСТ Р 59276-2020, пункт 3.16]

3.10 система менеджмента качества систем искусственного интеллекта (quality management system for Al systems): Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению изготовителем системы искусственного интеллекта применительно к качеству.

3.11 эффективность (efficacy): Совокупность свойств и характеристик системы искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.

4 Общие положения

4.1 Системы искусственного интеллекта с непрерывным обучением и возможные изменения после получения данных практического применения

4.1.1 Примеры СИИ с непрерывным обучением и их возможные изменения (адаптации) после данных о практическом применении приведены в приложении А.

Примечание - Информация об изменениях от изготовителя - смене версий/сборок (не адаптации), представлена в рамках ГОСТ Р ИСО/МЭК 12207 и применима, в том числе к СИИ.

4.1.2 Для определения структуры изменений СИИ с непрерывным обучением изготовитель должен разработать план управления изменениями СИИ, который должен быть включен в техническую и эксплуатационную документацию на СИИ и будет осуществляться по данным практического применения СИИ с непрерывным обучением.

4.1.3 План управления изменениями СИИ с непрерывным обучением описывает методы, которые использует изготовитель для надлежащего контроля рисков ожидаемых изменений, описанных в технической документации. План управления изменениями должен представлять детальное описание данных и процедур, которым необходимо следовать, чтобы изменение было успешно выполнено, а СИИ оставалась безопасной и эффективной. Пример содержимого для плана управления изменениями приведен в приложении Б.

4.2 Открытое практическое применение систем искусственного интеллекта с непрерывным обучением

4.2.1 Изменения работы СИИ с непрерывным обучением должны быть описаны в технической и эксплуатационной документации для того, чтобы обеспечить понимание этих изменений.

4.2.2 Сведения о произошедших адаптациях в СИИ при непрерывном обучении или в случае изменений от изготовителя (смена версии/сборки) после получения данных практического применения должны быть открытыми и понятными. Для обеспечения этого следует уведомлять касательно всех изменений СИИ заинтересованные стороны, например, пользователей (врачей), регулирующие органы, в том числе в автоматическом режиме.

4.2.3 Изготовитель должен составлять план управления изменениями таким образом, чтобы в нем полно и точно были описаны возможные изменения в ходе адаптации, включая их логическое обоснование, любые возможные изменения принимаемых алгоритмом входных данных и обновленные характеристики эффективности СИИ.

4.2.4 Изготовитель может встраивать механизмы уведомлений пользователей о проведенных изменениях в ходе адаптации СИИ через электронную почту или уведомления в пользовательском интерфейсе СИИ.

4.2.5 Информация о проведенных изменениях должна включать описание данных изменений между текущей и предыдущей адаптациями алгоритмов.

4.3 Мониторинг практического применения систем искусственного интеллекта с непрерывным обучением

4.3.1 Изменения в СИИ с непрерывным обучением в рамках адаптации необходимо контролировать путем периодического мониторинга СИИ (см. [4]). Данный мониторинг проводят с целью отслеживания работы СИИ, изменений ее работе при возникновении ложноположительных/ложноотрицательных результатов в процессе непрерывного обучения СИИ, а также учета имеющихся клинических данных, специфических особенностей и факторов риска, связанных с СИИ.

4.3.2 Сбор данных о практическом применении СИИ может позволить изготовителю понять, как используют их продукт и своевременно реагировать на проблемы в ходе работы СИИ в рамках практического применения.

4.4 Мониторинг систем искусственного интеллекта с непрерывным обучением

Безопасность и эффективность СИИ необходимо оценивать также в рамках жизненного цикла после получения регистрационного удостоверения, в том числе путем проведения мониторинга в соответствии с действующими нормативными правовыми актами.

Библиография

[1]	IMDRF/SaMD WG/N41FINAL:2017 Software as a Medical Device (SaMD): Clinical Evaluation
[2]	Guidance for Industry and Food and Drug Administration Staff Document "Use of Real-World Evidence to Support Regulatory Decision-Making for Medical Devices". 2017
[3]	Указ Президента Российской Федерации от 10 октября 2019 г. N 490 "О развитии искусственного интеллекта в Российской Федерации"
[4]	Proposed Regulatory Framework for Modifications to Artificial Intelligence Machine Learning (Al ML)-Based Software as a Medical Device (SaMD) - Discussion Paper [Electronic resource]//URL: https://www.fda.gov/media/122535/download

Ключевые слова: система искусственного интеллекта, непрерывное обучение, клиническая медицина.