Предварительный национальный стандарт ПНСТ 777-2022 "Системы искусственного интеллекта в клинической медицине. Часть 10. Процессы жизненного цикла" (утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2022 г. N 91-пнст) (документ не действует)

Предварительный национальный стандарт ПНСТ 777-2022
"Системы искусственного интеллекта в клинической медицине. Часть 10. Процессы жизненного цикла"
(утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2022 г. N 91-пнст)

Artificial intelligence systems in clinical medicine. Part 10. Life cycle processes

УДК 615.841:006.354
ОКС 11.040.01

Срок действия - с 1 сентября 2023 г.
по 1 сентября 2024 г.

Предисловие

1 Разработан Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 Внесен Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 8 ноября 2022 г. N 91-пнст

Введение

Любая система характеризуется наличием жизненного цикла. Жизненный цикл может быть описан с использованием абстрактной функциональной модели, представляющей собой осмысление потребностей в системе искусственного интеллекта, ее реализации, эксплуатации, развитии и выводе из эксплуатации. Система развивается через свой жизненный цикл как результат действий, выполняемых и управляемых изготовителем, используя для этих действий процессы.

В настоящем стандарте определены требования для каждого процесса жизненного цикла систем искусственного интеллекта. Каждый процесс жизненного цикла систем искусственного интеллекта состоит из совокупности видов деятельности, большинство из которых, в свою очередь, разделены на задачи.

Настоящий стандарт разработан на основе ГОСТ IEC 62304-2022 "Изделия медицинские. Программное обеспечение. Процессы жизненного цикла", определяющего основу процессов жизненного цикла совместно с деятельностью (действиями) и задачами, необходимыми для проектирования и технического обслуживания безопасного программного обеспечения медицинских изделий, но не учитывающего специфику процессов жизненного цикла и характеристик систем искусственного интеллекта.

Настоящий стандарт позволяет дополнить представленный в ГОСТ IEC 62304 набор процессов жизненного цикла программного обеспечения медицинских изделий процессом мониторинга системы искусственного интеллекта на этапе эксплуатации, а также этапами эксплуатации и вывода из эксплуатации.

В настоящем стандарте определен перечень испытаний систем искусственного интеллекта, приведены типы изменений и модификаций, которые могут быть осуществлены в процессе эксплуатации системы искусственного интеллекта.

В настоящем стандарте также приведено соотнесение установленных требований с требованиями к стадиям и этапам создания автоматизированных систем, приведенных в ГОСТ 34.601-90 "Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания".

1 Область применения

Настоящий стандарт устанавливает основу процессов жизненного цикла систем искусственного интеллекта совместно с деятельностью (действиями) и задачами, необходимыми для проектирования и технического обслуживания систем искусственного интеллекта.

Настоящий стандарт не предписывает конкретную модель жизненного цикла системы искусственного интеллекта. Изготовители ответственны за выбор модели жизненного цикла для системы искусственного интеллекта и за отображение процессов, деятельности и задач настоящего стандарта применительно к этой модели.

Для целей настоящего стандарта:

- "должен" означает необходимость полного соответствия требованиям стандарта;

- "следует" - соответствие требованиям рекомендуется, но не является обязательным;

- "установить" - определять, документировать и осуществлять выполнение;

- "может" используется, чтобы описать допустимый способ достижения соответствия требованиям.

Там, где в настоящем стандарте используется "если применимо" в сочетании с требуемым процессом, деятельностью, задачей или продукцией, изготовитель должен использовать процесс, деятельность, задачу или продукцию, если не может документированно опровергнуть необходимость применения.

Настоящий стандарт распространяется на системы искусственного интеллекта, применяемые в клинической медицине, которые могут быть отнесены к программному обеспечению, являющемуся медицинским изделием.

Настоящий стандарт не устанавливает требований к документации в части ее наименований, форматов, определенного содержания и носителей для записи. Настоящий стандарт может потребовать разработки документов подобного класса или типа, например различных планов. Настоящий стандарт, однако, не предусматривает, чтобы такие документы разрабатывались или комплектовались раздельно или каким-то образом объединялись. Эти решения остаются за пользователем настоящего стандарта.

Настоящий стандарт устанавливает требования к жизненному циклу системы искусственного интеллекта в клинической медицине. Совокупность данных, процессов, деятельности и задач, изложенных в настоящем стандарте, устанавливает общую основу для процессов жизненного цикла системы искусственного интеллекта.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.101 Единая система программной документации. Виды программ и программных документов

ГОСТ 34.201 Информационные технологии. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем

ГОСТ 34.601 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания

ГОСТ ISO 13485 Изделия медицинские. Системы менеджмента качества. Требования для целей регулирования

ГОСТ ISO 14971 Изделия медицинские. Применение менеджмента риска к медицинским изделиям

ГОСТ ISO/IEC 17025 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ IEC 62304 Изделия медицинские. Программное обеспечение. Процессы жизненного цикла

ГОСТ ИСО/МЭК 9126 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению

ГОСТ Р 53624 Информационные технологии. Информационно-вычислительные системы. Программное обеспечение. Системы менеджмента качества. Требования

ГОСТ Р 56044 Оценка медицинских технологий. Общие положения

ГОСТ Р 59921.1 Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка

ГОСТ Р 59921.2 Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний

ГОСТ Р 59921.3 Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением

ГОСТ Р ИСО 9001 Системы менеджмента качества. Требования

ГОСТ Р МЭК 60601-1-6-2014 Изделия медицинские электрические. Часть 1-6. Общие требования безопасности с учетом основных функциональных характеристик. Дополнительный стандарт. Эксплуатационная пригодность

ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств

ГОСТ Р 55544/IEC/TR 80002-1:2009 Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению медицинских изделий

ГОСТ Р 56839/IEC/TR 80001-2-1:2012 Информатизация здоровья. Менеджмент рисков в информационно-вычислительных сетях с медицинскими приборами. Часть 2-1. Пошаговый менеджмент рисков медицинских информационно-вычислительных сетей. Практическое применение и примеры

ГОСТ Р ИСО/МЭК 90003 Разработка программных продуктов. Руководящие указания по применению ИСО 9001:2008 при разработке программных продуктов

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

анализ риска (risk analysis): Систематическое использование доступной информации для идентификации опасностей и определения риска. [Адаптировано из ГОСТ ISO 14971-2021, пункт 3.19]

3.2 аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые технические результаты вычислений из входных данных.

Примечания

1 См. [1].

2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010 (пункт 4.54).

3.3

аномалия (anomaly): Любое условие или состояние, которое отклоняется от ожиданий, основанных на требованиях спецификаций, проектно-конструкторских документов, стандартов и т.д. или от чьего-то восприятия или опыта. Примечание - Аномалии могут быть обнаружены во время проверки, тестов, анализа, компиляции или использования программного обеспечения или прилагаемой документации либо в других случаях. [Адаптировано из ГОСТ IEC 62304-2022, пункт 3.2]

3.4 архитектура системы искусственного интеллекта (architecture of the artificial intelligence): Концептуальная структура системы искусственного интеллекта, определяющая порядок обработки информации и включающая методы преобразования информации и принципы взаимодействия элементов (программных блоков, систем) системы искусственного интеллекта.

3.5

безопасность (safety): Отсутствие недопустимого риска. [ГОСТ ISO 14971-2021, пункт 3.26]

Примечания

1 Безопасность системы искусственного интеллекта предполагает ее функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.

2 Условия использования могут включать уровень технических знаний, опыта, образования и подготовки пользователей, наличие заболеваний и физического состояния предполагаемых пациентов.

3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта и данных, а также прозрачности алгоритмов, бесперебойности, отсутствия ошибок в работе систем искусственного интеллекта и выполнения требований качества (см. [1]).

3.6

версия (version): Идентифицируемый отдельный вариант элемента конфигурации. Примечание - Изменение версии программного обеспечения медицинского изделия, приводящее к появлению новой версии, требует действий по управлению конфигурацией программного обеспечения. [ГОСТ IEC 62304-2022, пункт 3.34]

3.7

выпуск (release): Конкретная версия составной части конфигурации, доступная для определенной цели. [ГОСТ IEC 62304-2022, пункт 3.37]

3.8

запрос на изменение (change request): Документированная спецификация изменения, которое будет сделано в программном обеспечении медицинского изделия. [ГОСТ IEC 62304-2022, пункт 3.4]

3.9

защищенность (security): Защита информации и данных от чтения или изменения их посторонними людьми или системами таким образом, чтобы авторизованным лицам и системам доступ к ним не был запрещен. [ГОСТ IEC 62304-2022, пункт 3.22]

3.10

жизненный цикл (life cycle): Развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до вывода из эксплуатации. [Адаптировано из ГОСТ Р 57193-2016, пункт 4.1.19]

3.11

изготовитель (manufacturer): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени. [Адаптировано из ГОСТ ISO 14971-2021, пункт 3.9]

Примечания

1 К определению изготовителя могут применяться положения национальных и региональных нормативных документов.

2 Определение маркировки см. в ГОСТ ISO 13485-2017, определение 3.8.

3.12

искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Примечание - Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе то, в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений. [ГОСТ Р 59277-2020, пункт 3.18]

3.13 клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.

Примечание - См. [1, пункт 7.0].

3.14

клиническая оценка (clinical evaluation): Результат процесса анализа и оценки клинических данных, имеющих отношение к медицинскому изделию, с целью проверки заявленной его изготовителем клинической результативности и клинической безопасности изделия при применении его в соответствии с назначением и в условиях, предусмотренных изготовителем. [Адаптировано из ГОСТ Р 56429-2021, пункт 3.1]

3.15

менеджмент риска (risk management): Систематическое применение политики, процедур и практических методов менеджмента для решения задач анализа, оценивания, управления и мониторинга риска. [Адаптировано из ГОСТ ISO 14971-2021, пункт 3.24]

3.16 модель жизненного цикла системы искусственного интеллекта (life cycle model of an artificial intelligence system): Концептуальная структура, охватывающая существование системы искусственного интеллекта от определения требований к ней до вывода из эксплуатации, которая:

- определяет процессы, деятельность и задачи, включенные в разработку системы искусственного интеллекта;

- описывает последовательность и взаимозависимость между деятельностью и задачами;

- идентифицирует этапы, на которых проводят верификацию результатов работы системы искусственного интеллекта, в том числе с использованием наборов данных.

3.17

набор данных: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта. Примечание - См. [4]. [ГОСТ Р 59921.1-2022, пункт 3.17]

3.18 непреднамеренные последствия (unintended consequence): Нежелательный и негативный исход события, приводящий к ухудшению одной или более характеристик системы.

3.19

отчет о проблемах (problem report): Запись о фактическом или возможном поведении программного обеспечения медицинского изделия, из которой пользователь или заинтересованное лицо могут узнать о том, что является опасным, несоответствующим предусмотренному назначению, или о том, что противоречит спецификации. Примечания 1 Настоящий стандарт не требует, чтобы каждый отчет о проблемах приводил к изменениям в программном обеспечении медицинского изделия. Изготовитель может отклонить отчет о проблемах, для неверно понятого, ошибочного или несущественного события. 2 Отчет о проблемах может относиться к готовому программному обеспечению медицинского изделия или к программному обеспечению медицинского изделия, еще находящемуся в процессе разработки. 3 Настоящий стандарт требует от изготовителя осуществлять некоторую дополнительную последовательность действий (см. раздел 6) по каждому отчету о проблемах, относящемуся к уже выпущенному продукту, с целью обеспечения идентификации и выполнения предписанных действий. [ГОСТ IEC 62304-2022, пункт 3.13]

3.20

оценивание (evaluation): Систематическое определение степени соответствия объекта установленным критериям. [ГОСТ IEC 62304-2022, пункт 3.7]

3.21

программный блок (software unit): Программная составная часть, которая не может быть разделена на более мелкие части. Примечания - Уровень детализации программных блоков определяется изготовителем. [ГОСТ IEC 62304-2022, пункт 3.28]

3.22

программный продукт (software product): Совокупность компьютерных программ, процедур и, по возможности, связанных с ними документаций и данных. [ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.42]

3.23

программная система (software system): Совокупность программных составных частей, предназначенных для выполнения конкретной функции или набора функций. [ГОСТ IEC 62304-2022, пункт 3.27]

3.24

программная составная часть (software item): Любая идентифицируемая (выделяемая) часть компьютерной программы, т.е. исходный код, объектный код, управляющий код, управляющие данные или набор этих элементов. Примечание - Разделение программы на составные части можно охарактеризовать тремя терминами. Верхний уровень - программная система. Самый нижний уровень, ниже которого подразделение на составные части не осуществляется, - программный блок. Все уровни композиции, включая верхний и нижний уровни, можно назвать программными составными частями. Тогда программная система состоит из одного или более программных составных частей, и каждая программная составная часть в свою очередь состоит из одного или более программных блоков или подразделенных программных составных частей. Ответственность за обеспечение степени детализации программных составных частей и программных блоков возлагается на изготовителя. [ГОСТ IEC 62304-2022, пункт 3.25]

3.25

прослеживаемость (traceability): Степень, до которой может быть установлена взаимосвязь между двумя или более результатами (продуктами) процесса разработки. Примечание - Требования, архитектура, меры по управлению риском и т.д. являются примерами поставляемых результатов процесса разработки. [ГОСТ IEC 62304-2022, пункт 3.32]

3.26

процесс (process): Совокупность взаимосвязанных и взаимодействующих видов деятельности, преобразующая входы в выходы. [Адаптировано из ГОСТ Р ИСО 9000-2015, пункт 3.4.1]

3.27 разметка [аннотация] данных: Этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фото- и видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием методов машинного обучения.

3.28

регрессионное тестирование (regression testing): Испытание, которое необходимо для определения влияния изменений в компонентах системы на ее функциональность, надежность или эксплуатационные характеристики и на создание дополнительных дефектов. [ГОСТ IEC 62304-2022, пункт 3.15]

3.29

система (system): Совокупная композиция, состоящая из одного или более процессов, аппаратных средств, программного обеспечения, людей и средств, которая обеспечивает способность удовлетворить заявленную потребность или цель. [ГОСТ IEC 62304-2022, пункт 3.30]

3.30 система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта.

3.31 система менеджмента качества системы искусственного интеллекта (quality management system for artificial intelligence system): Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению производителем системы искусственного интеллекта применительно к качеству.

3.32 управление жизненным циклом (системы искусственного интеллекта) (lifecycle management of artificial intelligence system): Совокупность процессов жизненного цикла, включающих развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до списания для использования изготовителем.

3.33

управление риском (risk control): Процесс принятия решений и выполнение мер по уменьшению рисков до установленных уровней или поддержания их на установленных уровнях. [Адаптировано из ГОСТ ISO 14971-2021, пункт 3.21]

3.34

составная часть конфигурации (configuration item): Объект, который может быть однозначно определен в данной конкретной точке. [ГОСТ IEC 62304-2022, пункт 3.5]

3.35

файл менеджмента риска (risk management file): Совокупность записей и других документов, создаваемых в процессе менеджмента риска. [Адаптировано из ГОСТ ISO 14971-2021, пункт 3.25]

4 Сокращения

В настоящем стандарте применены следующие сокращения:

ЖЦ - жизненный цикл;

ПКТИ - предварительные клинико-технические испытания;

СИИ - система искусственного интеллекта.

5 Общие требования

5.1 Общие положения

Любая система характеризуется наличием ЖЦ. ЖЦ СИИ может быть описан с использованием абстрактной функциональной модели, которая представляет собой постановку требований к СИИ, ее разработку, эксплуатацию, поддержку и вывод из эксплуатации. СИИ развивают через ЖЦ как результат действий, выполняемых и управляемых специалистами изготовителя (рисунок 1).

Модель ЖЦ СИИ может включать следующие процессы:

- разработку плана разработки СИИ (в том числе описание применяемых наборов данных);

- анализ и разработка требований к СИИ;

- проектирование архитектуры СИИ на основании требований к СИИ;

- разработку СИИ;

- реализацию и верификацию программных блоков СИИ;

- программная интеграция и испытания в отношении интеграции;

- испытания СИИ;

- ввод в эксплуатацию СИИ;

- эксплуатацию СИИ;

- вывод из эксплуатации СИИ.

5.2 Система менеджмента качества

Изготовитель СИИ должен быть способен продемонстрировать соответствие СИИ требованиям потребителя и применимым регулирующим требованиям.

Примечания

1 Демонстрация этой способности может быть осуществлена с помощью системы менеджмента качества, соответствующей следующим требованиям:

- национальному стандарту на систему менеджмента качества для медицинских изделий;

- системе менеджмента качества, требуемой национальным регулированием.

Рисунок 1 - Краткий обзор процессов разработки СИИ, применяемой в клинической медицине

Наличие подтвержденной системы менеджмента качества изготовителя СИИ не исключает проведения внешней клинической оценки СИИ на предмет соответствия установленным требованиям.

В случае если какой-либо процесс, деятельность или продукция передаются сторонним исполнителям (на аутсорсинг), изготовитель должен обеспечить контроль над подобными процессами, деятельностью или продукцией.

2 Руководство, как применить требования менеджмента качества к программному обеспечению, можно найти в ГОСТ Р ИСО 9001, ГОСТ ISO 13485, ГОСТ Р 53624, ГОСТ Р ИСО/МЭК 90003.

5.3 Менеджмент риска

Изготовитель СИИ должен применять процесс менеджмента риска в соответствии с ГОСТ ISO 14971, ГОСТ Р 56839, ГОСТ Р 55544 (см. также [2], [3]). Данный процесс должен быть интегрирован на протяжении всего ЖЦ СИИ, основываться на риск-ориентированном подходе к безопасности пациентов. Деятельность по менеджменту риска, применяемого к ЖЦ СИИ, носит итеративный характер. Выполняют анализ и переоценивание риска в процессе планирования и разработки СИИ.

6 Основные процессы жизненного цикла системы искусственного интеллекта при разработке

6.1 Формирование требований системы искусственного интеллекта

6.1.1 План разработки системы искусственного интеллекта

Изготовитель СИИ должен установить план (или планы) разработки СИИ с целью проведения всей необходимой деятельности в отношении процесса разработки СИИ, соответствующей области, важности и классу безопасности. Модель ЖЦ разработки СИИ должна либо быть полностью определена, либо ссылаться на план (или планы) [4].

План должен содержать:

- определение цели и задач разработки СИИ, а также описание данных и способа доступа к ним, которые будут использованы при разработке СИИ;

- процессы, которые будут использованы при разработке СИИ и отражены в Техническом задании на создание СИИ (см. примечание 4);

- поставляемые результаты (включая документацию) деятельности и задач на каждом этапе создания СИИ, которые должны быть указаны в Техническом задании на создание СИИ;

- прослеживаемость между требованиями системы, требованиями СИИ, испытанием программной системы и мерами управления риском, включенными в СИИ, которую необходимо определять на каждом этапе создания СИИ (соответствие получаемых результатов Техническому заданию на создание СИИ);

- конфигурацию СИИ и менеджмент изменений, включая элементы и программное обеспечение (рисунок 2), используемого для поддержки разработки;

- решение проблем с программным обеспечением для обработки проблем, обнаруженных в СИИ, поставляемых результатах и деятельности на каждой стадии ЖЦ.

Примечания

1 Модель ЖЦ разработки СИИ может определять различные элементы (процессы, деятельность, задачи и результаты) для различных программных элементов, в соответствии с классами безопасности СИИ для каждого программного элемента программной системы.

2 Деятельность и задачи могут перекрываться или взаимодействовать и выполняться итеративно или рекурсивно. Это не подразумевает того, что должна использоваться определенная модель ЖЦ.

3 Другие процессы изложены в настоящем стандарте отдельно от процесса разработки. Это не подразумевает того, что они должны быть реализованы в виде отдельной деятельности и задач. Деятельность и задачи других процессов могут быть включены в процесс разработки.

4 План разработки СИИ может ссылаться на существующие процессы или определять новые.

5 План разработки СИИ может быть включен в план разработки общей системы (см. 6.1.3).

6.1.2 Поддержание плана разработки системы искусственного интеллекта в актуальном состоянии

Изготовитель должен обновлять план по мере того, как осуществляется разработка, и обновлять файл менеджмента рисков.

На каждом этапе создания СИИ может быть определен дальнейший порядок разработки с учетом полученных результатов.

Рисунок 2 - Возможная структура программного обеспечения СИИ

6.1.3 План разработки системы искусственного интеллекта относительно проектирования и разработки системы вышестоящего уровня (надсистемы)

В случае, если изготовитель СИИ планирует разработку СИИ с последующим внедрением в любую другую программную систему ему необходимо согласовать требования к СИИ с требованиями надсистемы.

В план разработки СИИ изготовитель должен включать или ссылаться на процедуры по координации разработки программного обеспечения с разработкой системы, необходимой для выполнения требований 5.2 (например, системная интеграция, верификация и валидация).

В план разработки СИИ необходимо включить этап формирования набора данных для обучения моделей искусственного интеллекта и верификации СИИ.

6.1.4 Стандарты, методы и инструменты планирования разработки системы искусственного интеллекта

В план разработки СИИ изготовитель должен включить обоснование или дать ссылки для применения:

- на стандарты;

- методы, в том числе математические;

- на описание наборов данных и методов их формирования;

- на метрики качества СИИ, являющиеся аналогами к разрабатываемой СИИ;

- инструменты, связанные с разработкой программных составных частей.

6.1.5 Программная интеграция и планирование тестирования интеграции

В плане развития СИИ изготовитель должен указать или дать ссылки на план интеграции программных составных частей и осуществление тестирования во время интеграции.

Программная интеграция является частью процесса реализации СИИ.

Примечание - Возможно комбинирование тестирования интеграции и тестирования программной системы в единый план и совокупность деятельности.

6.1.6 Планирование верификации системы искусственного интеллекта

В план разработки СИИ изготовитель должен включить или дать ссылки на следующую информацию по верификации:

- о поставляемых результатах, требующих верификации;

- требуемых верификационных задачах для каждой деятельности в ЖЦ;

- контрольных точках, на которых верифицируются поставляемые результаты;

- критериях приемки для верификации поставляемых результатов;

- наборе показателей качества и допустимых отклонениях, применимых к СИИ.

При планировании верификации СИИ изготовитель должен заложить требования к наборам данных, необходимым для верификации СИИ на разных этапах ЖЦ (если применимо).

6.1.7 Планирование менеджмента риска системы искусственного интеллекта

В план разработки СИИ изготовитель должен включать или дать ссылки на план осуществления процесса менеджмента риска СИИ, в отношении деятельности и задач.

6.1.8 Документация по планированию

В план разработки СИИ изготовитель должен включить или дать ссылки на информацию о документации, которая будет создана во время ЖЦ разработки СИИ. Каждому идентифицированному документу или типу документа должна быть присвоена (или содержаться непосредственно) следующая информация:

- титульный лист, наименование или обозначение;

- вид документа (ведомость, пояснительная записка, отчет, руководство, инструкция и т.д.)

- цель;

- предусмотренные пользователи документа;

- содержание документа (в виде разделов);

- процедуры и ответственность за разработку, анализ, одобрение и модификацию документов и/или документации.

Документация может быть оформлена в соответствии с требованиями ГОСТ 34.201. Перечень документов выбирает изготовитель исходя из специфики разрабатываемой СИИ.

6.1.9 Планирование менеджмента конфигурации системы искусственного интеллекта

В план разработки СИИ изготовитель должен включить или дать ссылки на информацию о менеджменте конфигурации СИИ, которая должна содержать или иметь ссылки:

- на классы, типы, категории или списки элементов, подлежащих управлению;

- деятельность и задачи по менеджменту конфигурации СИИ;

- организационную структуру (структуры), отвечающую за деятельность по менеджменту конфигурации СИИ;

- взаимосвязь с другими структурами, такими как разработка или техническая поддержка СИИ;

- случаи, когда элементы должны находиться под управлением конфигурации;

- случаи, когда следует использовать процесс решения проблем.

6.1.10 Поддержка элементов, подлежащих управлению

Элементы, подлежащие управлению, должны включать в себя инструменты, компоненты или настройки, используемые для разработки СИИ, которые могут воздействовать на СИИ.

Примечания

1 Примеры подобных элементов включают компиляторные/ассемблерные версии, созданные файлы, командные файлы и специфичные настройки окружения.

2 См. раздел 9.

6.1.11 Управление составными частями конфигурации системы искусственного интеллекта до верификации

Изготовитель должен запланировать размещение составных частей конфигурации под управление документированного менеджмента конфигурации, прежде чем они будут верифицированы.

6.1.12 Идентификация и предотвращение распространенных дефектов системы искусственного интеллекта до верификации

Изготовитель должен включить или указать в плане разработки СИИ процедуру:

а) для определения категорий дефектов, которые могут быть введены на основе выбранной технологии программирования и имеют отношение к их программной системе;

б) документирование свидетельств, демонстрирующих неспособность этих дефектов приводить к недопустимому риску.

Примечание - Примеры категорий дефектов или причин, способствующих возникновению опасных ситуаций (см. [5]).

6.2 Анализ требований к системе искусственного интеллекта

6.2.1 Отделение и документирование требований к системе искусственного интеллекта на основе требований системы

Для каждой СИИ изготовитель должен определить и документировать требования к СИИ исходя из требований уровня системы.

Примечание - Может не существовать различий между требованиями СИИ и требованиями системы, если СИИ является отдельной системой (например, если СИИ само по себе является изделием).

6.2.2 Содержание требований к системе искусственного интеллекта

Как применимые и подходящие требования в отношении СИИ, применяемой в клинической медицине, изготовитель должен включать:

а) требования к потенциальным возможностям и функциональности, в том числе показатели эффективности СИИ (например: чувствительность, специфичность и др.).

Примечание - Примеры включают в себя:

- эксплуатационные характеристики (например: цели СИИ, координация требований);

- физические характеристики (например: язык машинного кода, платформа, операционная система);

- компьютерные характеристики (например: аппаратные средства, размер памяти, процессор, часовой пояс, инфраструктура сети);

- необходимость совместимости с модернизациями или другими версиями изделий;

- показатели эффективности (чувствительность, специфичность и др.);

б) входные и выходные данные программной системы.

Примечание - Например:

- характеристики данных (например: цифровые, буквенно-цифровые, формат);

- диапазоны;

- пределы;

- значения по умолчанию;

в) средства взаимодействия между программной системой и другими системами;

г) программные средства управления для предупреждения и оповещения пользователя СИИ;

д) требования к защищенности.

Примечание - Например:

- требования с компромиссом относительно конфиденциальности информации;

- идентификация;

- авторизация;

- системный журнал;

- непрерывность связи;

- система безопасности/защита от взлома;

е) требования пользовательского интерфейса, реализованные в программном обеспечении.

Примечания

1 Примеры в этой области связаны:

- с поддержкой операций, выполняемых вручную;

- взаимодействием между человеком и оборудованием;

- ограничениями в отношении пользователя;

- областями, где требуется пристальное человеческое внимание.

2 Для информации относительно требований к разработке удобства и простоты использования (эксплуатационной пригодности) см. ГОСТ Р МЭК 60601-1-6;

ж) определение данных и требований к базе данных.

Примечание - Например:

- форма;

- размерность;

- функция;

ГАРАНТ:

Нумерация подпунктов приводится в соответствии с источником

и) установление и принятие требований к поставляемому СИИ для работ и технической поддержки веб-версии программного продукта;

к) требования, относящиеся к методам разработки и технической поддержки;

л) требования, связанные с аспектами информационных сетей.

Примечание - Примеры включают в себя аспекты, которые связаны:

- с сетевыми сигналами тревоги, предупреждения и сообщения оператора;

- сетевыми протоколами;

- обработкой недоступности сетевых услуг;

м) требования к поддержке пользователей;

н) регулирующие требования.

Примечания

1 Требования с а) до н) могут пересекаться.

2 Все эти требования могут быть не установленными на момент начала разработки.

3 ГОСТ ИСО/МЭК 9126 обеспечивает информацию о качественных характеристиках, которая может быть полезна при определении требований к СИИ.

6.2.3 Включение мер управления риском в требования к системе искусственного интеллекта

Изготовитель должен включать меры по управлению риском, реализованные в программном обеспечении, в требования, соответствующие СИИ.

Примечание - Эти требования могут быть недоступны в начале процесса разработки и изменены по мере того, как создается СИИ и устанавливаются дальнейшие меры по управлению риском.

6.2.4 Переоценивание анализа риска медицинского изделия

Изготовитель должен осуществить переоценивание анализа риска медицинского изделия, когда требования к СИИ установлены и, соответственно, обновить эти требования по результатам переоценки.

6.2.5 Обновление требований к системе

Изготовитель должен удостовериться, что существующие требования, включая требования к системе, переоценены и обновлены, в соответствии с результатами деятельности по анализу требований к СИИ.

6.2.6 Верификация требований к системе искусственного интеллекта

Изготовитель должен верифицировать и документировать, что требования к СИИ:

а) выполняют требования к системе (если применимо), в том числе относящиеся к управлению риском;

б) не противоречат друг другу;

в) выражены в терминах, которые не допускают двусмысленности;

г) сформулированы в терминах, которые позволяют установить критерии тестирования и осуществить тестирование;

д) могут быть идентифицированы уникальным образом;

е) являются прослеживаемыми в отношении требований к системе или к другому источнику.

6.3 Проектирование архитектуры системы искусственного интеллекта

6.3.1 Преобразование требований к системе искусственного интеллекта в архитектуру

Изготовитель должен преобразовать требования к СИИ в документированную архитектуру, которая описывает структуру СИИ и идентифицирует программные составные части.

Примечание - В данном стандарте под термином "архитектура системы искусственного интеллекта" понимают концептуальную структуру СИИ, способ обработки информации, взаимодействие составляющих ее элементов и т.д. Требования к архитектуре нейронной сети, которая является одной из составляющей СИИ, выходит за рамки данного стандарта.

6.3.2 Разработка архитектуры для интерфейсов программных составных частей

Изготовитель должен разработать и документировать архитектуру для интерфейсов между программными составными частями и компонентами, внешними по отношению к программным составным частям (как для программной, так и для аппаратной части), а также между программными составными частями.

6.3.3 Идентификация обособленности, необходимой для управления риском

Изготовитель должен идентифицировать любую обособленность программных составных частей, которая необходима для управления риском, и указать, как обеспечить результативность созданной обособленности.

Примечание - В качестве примера обособленности можно привести программные составные части, выполняемые на разных процессорах. Результативность обособленности может быть обеспечена за счет отсутствия общих ресурсов у разных процессоров. Другие способы создания обособленности могут применяться, когда результативность может быть обеспечена посредством разработки архитектуры СИИ.

6.3.4 Верификация архитектуры системы искусственного интеллекта

Изготовитель должен верифицировать и документировать, что:

а) архитектура СИИ реализует требования к системе, если применимо, и СИИ, включая требования, относящиеся к управлению риском;

б) архитектура СИИ способна поддерживать взаимодействие между программными составными частями, а также между программными составными частями и аппаратными средствами, если применимо.

Примечание - Для выполнения требования а) может быть использован анализ прослеживаемости архитектуры к требованиям по СИИ.

6.4 Разработка детального проекта системы искусственного интеллекта

6.4.1 Развитие архитектуры системы искусственного интеллекта в программные блоки

Изготовитель должен развивать СИИ, пока она не будет представлена в виде программных блоков.

6.4.2 Разработка детального проекта для каждого программного блока

Изготовителю следует документировать проект с достаточной степенью детализации, с целью обеспечения правильной реализации каждого программного блока.

Разработку программной документации выполняют в соответствии с ГОСТ 19.101.

6.4.3 Разработка детального проекта для интерфейсов

Изготовителю следует документировать проект любых интерфейсов между программным блоком и внешними компонентами (аппаратными или программными средствами), а также любых интерфейсов между программными блоками, достаточно подробный для правильной реализации каждого программного блока и его интерфейсов.

6.4.4 Верификация детального проекта

Изготовитель должен верифицировать и документировать, что детальный проект СИИ:

а) реализует архитектуру СИИ;

б) не вступает в противоречия с архитектурой СИИ.

Примечание - Для выполнения требования а) может быть использован анализ прослеживаемости архитектуры к детальному проекту СИИ.

6.4.5 Особенности разработки системы искусственного интеллекта

Ключевыми особенностями этапа разработки СИИ будут являться:

- формирование набора данных для обучения и верификации моделей искусственного интеллекта, включающее определение клинических целей, требований к набору данных и выполняемую разметку (аннотацию);

- обучение моделей искусственного интеллекта с применением сформированного набора данных;

- клиническая оценка СИИ.

Ключевым отличием процесса разработки СИИ от традиционного программного обеспечения является применение наборов данных на всех этапах ЖЦ.

На протяжении всего времени работы с наборами данных должна быть обеспечена защита персональных данных, с этой целью следует проводить обезличивание данных.

Изготовителю СИИ необходимо включить в разрабатываемую документацию СИИ объяснение принципа принятия решения при обработке данных с целью обеспечения уровня доверия пользователей к СИИ.

Изготовителю СИИ необходимо использовать принятую классификацию патологий согласно утвержденным тезаурусам, Международной классификации болезней либо наименование феноменов в соответствии с рекомендациями профильной ассоциации специалистов.

6.5 Реализация и верификация программных блоков

6.5.1 Реализация каждого программного блока

Изготовитель должен реализовать каждый программный блок.

6.5.2 Установление процесса верификации программного блока

Изготовитель должен установить стратегии, методы и процедуры для верификации каждого программного блока. Там, где верификацию осуществляют посредством тестирования, правильность процедур проведения тестирования должна быть оценена на адекватность.

Примечание - Возможно объединение интеграционного тестирования и тестирования программной системы в единый план и совокупность деятельности.

6.5.3 Критерии приемки программных блоков

Изготовитель должен установить критерии приемлемости для программных блоков до их интеграции в более крупные программные составные части соответствующим образом и удостовериться, что программные блоки соответствуют критериям приемки.

Примечание - Примеры критериев приемки:

- имплементированы ли в программном коде требования, включая меры по управлению риском?

- нет ли в программном коде противоречий с проектом интерфейса программных блоков?

- соответствует ли программный код процедурам программирования или стандартам кодирования?

6.5.4 Дополнительные критерии приемки программных блоков

Если детальный проект СИИ разработан, изготовителю следует включить в проект дополнительные критерии приемки, предназначенные для:

- правильной (соответствующей) последовательности событий;

- потока данных и управления;

- планируемого распределения ресурсов;

- работы с ошибками (определение ошибки, локализация и восстановление);

- инициализации переменных;

- самодиагностики;

- управления памятью и переполнений памяти;

- граничных условий.

6.5.5 Верификация программных блоков

Изготовитель должен выполнять верификацию программных блоков и документировать результаты.

6.6 Интеграция системы искусственного интеллекта и тестирование интеграции

6.6.1 Интеграция программных блоков

Изготовитель должен интегрировать программные блоки согласно плану интеграции (см. 6.1.5).

6.6.2 Верификация интеграции системы искусственного интеллекта

Изготовитель должен верифицировать, что программные блоки интегрированы в программные составные части и/или программную систему в соответствии с планом интеграции, а также сохранить записи, свидетельствующие о проведении такой верификации.

Примечание - Данная верификация заключается только в проверке выполнения интеграции в соответствии с планом. Эта верификация, скорее всего, осуществляется в форме какого-либо контрольного мероприятия.

6.6.3 Интеграционное тестирование системы искусственного интеллекта

Изготовитель должен тестировать интегрированные программные составные части в соответствии с планом интеграции (см. 6.1.5) и документировать полученные результаты.

6.6.4 Содержание тестирования интеграции системы искусственного интеллекта

При тестировании интеграции СИИ изготовитель должен установить, что интегрированная программная составная часть функционирует в соответствии с предусмотренным назначением.

Примечания

1 Примерами могут служить:

- требуемая функциональность СИИ;

- выполнение мер по управлению риском;

- определенная синхронизация и другие режимы работы;

- определенное функционирование внутренних и внешних интерфейсов;

- тестирования в ненормальных условиях, включая прогнозируемое неправильное применение.

2 Возможно объединение тестирования интеграции и тестирования программной системы в единый план и совокупность деятельности.

6.6.5 Оценивание процедур тестирования интеграции системы искусственного интеллекта

Изготовитель должен оценивать процедуры тестирования интеграции на адекватность.

6.6.6 Проведение регрессионного тестирования

При завершении интеграции программных составных частей изготовитель должен провести регрессионное тестирование, подходящее для демонстрации того, что в ранее интегрированной СИИ не были обнаружены дефекты.

6.6.7 Содержание записей в отношении регрессионного тестирования

Изготовитель должен:

а) документировать результаты тестирования (соответствует, не соответствует и перечень аномалий);

б) сохранить существенные записи для возможного проведения повторного тестирования;

в) указать лицо, проводившее тестирование.

Примечание - Требование б) может быть выполнено путем сохранения, например:

- характеристик условий проведения конкретного испытания, показывающих требуемые действия и ожидаемые результаты;

- составления перечня используемого оборудования;

- записей внешних устройств (включая программные инструменты), используемых при проведении испытаний.

6.6.8 Использование процесса решения проблем с системой искусственного интеллекта

Изготовитель должен вводить аномалии, обнаруженные во время интеграции СИИ и тестирования интеграции, в процесс решения проблем СИИ.

Примечание - См. раздел 10.

6.7 Тестирование системы искусственного интеллекта

6.7.1 Особенности тестирований системы искусственного интеллекта

Тестирования (испытания) СИИ подразделяют на внутренние, проводимые изготовителем СИИ в соответствии с 6.7.2 и 6.7.3, и внешние испытания, проводимые в случае отнесения СИИ к медицинскому изделию, в рамках технических и клинических испытаний (процедура технических испытаний описана в ГОСТ Р 59921.2, процедура клинических испытаний описана в ГОСТ Р 59921.1.

Клиническую оценку СИИ проводят на верифицированном наборе данных, который не был использован для обучения, настройки и первичной оценки алгоритмов СИИ.

6.7.2 Установление тестирований в отношении требований к системе искусственного интеллекта

Изготовитель СИИ должен установить и выполнить перечень тестирований, выраженных как входные данные, ожидаемые результаты, критерии приемки и процедуры, с целью учета и охвата тестированием всех требований к СИИ.

Примечания

1 Возможно объединение испытаний интеграции и испытаний СИИ в единый план деятельности, также допустимо проверять требования СИИ на более ранних стадиях.

2 Могут быть проведены не только тестирования отдельных требований, но и тестирования комбинаций требований, особенно если между требованиями существуют зависимости.

Изготовитель должен оценить адекватность стратегий проведения верификации и тестовых процедур.

6.7.3 Предварительные клинико-технические испытания

Предварительные клинико-технические испытания (ПКТИ) выполняют с целью доказательства соответствия СИИ требованиям эффективности работы в условиях, имитирующих эксплуатационные.

Для проведения ПКТИ СИИ изготовитель должен установить перечень проверяемых параметров, разработать программу испытаний и критерии прохождения [6].

ПКТИ проводят в медицинских организациях, которые могут сформировать наборы данных, необходимые для проведения верификации и валидации СИИ.

По результатам оформляют отчет в соответствии с приложением В.

6.7.4 Применение процесса решения проблем с системой искусственного интеллекта

Изготовитель должен ввести аномалии, обнаруженные во время испытаний программной системы, в процесс решения проблем с СИИ.

6.7.5 Повторное тестирование после внесения изменений

При внесении изменений в ходе тестирования СИИ изготовитель обязан:

- повторить тестирование, выполнить модифицированные или дополнительные тесты, если применимо, с целью проверки результативности вносимых изменений для исправления проблем;

- провести соответствующее тестирование, необходимое для демонстрации отсутствия возникновения вреда и непреднамеренных побочных эффектов;

- выполнить соответствующую деятельность по менеджменту рисков (см. 8.4).

6.7.6 Внешние испытания системы искусственного интеллекта

В случае регистрации СИИ в качестве медицинского изделия выполняют испытания СИИ в соответствии с действующими нормативно-правовыми актами.

6.7.7 Оценивание тестирования системы искусственного интеллекта

Изготовитель должен оценить целесообразность стратегий верификации и процедур тестирования.

Изготовитель должен проверить:

- что все требования к системе искусственного интеллекта были протестированы или иным образом верифицированы;

- ведутся записи по прослеживаемости между требованиями к СИИ и тестами или другой верификацией;

- результаты тестирования соответствуют требуемым критериям приемки.

6.7.8 Содержание отчета по тестированию системы искусственного интеллекта и требования к архивированию

Для обеспечения повторяемости тестов изготовитель должен:

а) документировать методы с указанием требуемых действий и ожидаемых результатов и результаты тестирований (соответствует, не соответствует и список аномалий) в соответствующих разделах отчета;

б) сохранить отчеты;

в) идентифицировать лицо, проводившее тестирование;

г) руководствоваться действующими нормативными правовыми актами, применимыми к проведению испытаний СИИ изготовителем.

Примечания

1 Требование б) может быть выполнено путем сохранения, например:

- характеристик условий проведения конкретного испытания, показывающих требуемые действия и ожидаемые результаты;

- составления перечня используемого оборудования;

- записей внешних устройств (включая программные инструменты), используемых при проведении испытаний.

2 Содержание отчета по результатам испытаний должно соответствовать требованиям ГОСТ ISO/IEC 17025.

6.8 Ввод в эксплуатацию системы искусственного интеллекта

6.8.1 Обеспечение завершенности верификации системы искусственного интеллекта

Изготовитель до ввода в эксплуатацию СИИ должен обеспечить, чтобы деятельность по верификации всей СИИ была полностью завершена, а результаты оценены.

Если СИИ относится к медицинскому изделию, необходимо провести процедуру регистрации СИИ в качестве медицинского изделия, согласно действующим нормативным правовым актам.

6.8.2 Документирование известных остаточных аномалий

Изготовитель должен документировать остаточные аномалии после процедуры управления риском.

6.8.3 Оценивание известных остаточных аномалий

Изготовитель должен обеспечить, чтобы известные остаточные аномалии были оценены и документированы с целью обеспечения отсутствия их способности содействовать возникновению недопустимых рисков.

6.8.4 Документирование выпущенных версий

Изготовитель должен документировать версию СИИ, которая будет выпущена.

6.9 Эксплуатация системы искусственного интеллекта

6.9.1 Содержание эксплуатации системы искусственного интеллекта

На этапе "Эксплуатация системы искусственного интеллекта" осуществляют работы:

а) по анализу функционирования СИИ;

б) выявлению отклонений фактических эксплуатационных характеристик СИИ от проектных значений;

в) установлению причин этих отклонений;

г) устранению выявленных недостатков и обеспечению стабильности эксплуатационных характеристик СИИ;

д) внесению необходимых изменений в документацию на СИИ.

6.9.2 Процесс оценки технологии искусственного интеллекта

Оценку технологии искусственного интеллекта в качестве технологии здравоохранения (медицинской технологии) проводят в соответствии с ГОСТ Р 56044.

Данную процедуру могут выполнять все участники процесса ЖЦ СИИ, в том числе лица, принимающие решения - изготовители, инвесторы, плательщики, медицинские организации и профильные органы исполнительной власти.

6.10 Вывод из эксплуатации (прекращение применения) системы искусственного интеллекта

6.10.1 Цель

Цель процесса вывода из эксплуатации СИИ состоит в обеспечении завершения существования программного продукта в соответствии с ГОСТ Р ИСО/МЭК 12207.

Этот процесс прекращает деятельность изготовителя по поддержке функционирования и технической поддержки СИИ или деактивирует, демонтирует и удаляет СИИ.

Примечание - При изъятии из сферы применения существующих СИИ должна сохраняться целостность организационных операций.

6.10.2 Выходы

В результате успешного осуществления процесса вывода из эксплуатации СИИ:

- определяется стратегия вывода из эксплуатации;

- ограничения по выводу из эксплуатации служат в качестве входных данных к требованиям;

- системные программные элементы уничтожаются или сохраняются;

- окружающая среда оставляется в согласованном состоянии;

- обеспечивается доступ к записям, хранящим знания о действиях вывода из эксплуатации, и результатам анализа долговременных воздействий.

6.10.3 Виды деятельности и задачи

При реализации проекта необходимо осуществлять следующие виды деятельности в соответствии с принятыми в организации политиками и процедурами в отношении процесса вывода из эксплуатации СИИ:

- планирование вывода из эксплуатации СИИ;

- выполнение вывода из эксплуатации СИИ.

7 Процесс технической поддержки системы искусственного интеллекта

7.1 Установление плана технической поддержки системы искусственного интеллекта

Изготовитель должен установить план (или планы) технической поддержки СИИ для выполнения деятельности и задач процесса технической поддержки. Этот план должен содержать:

а) процедуры:

- для получения (установки);

- документирования;

- оценивания;

- принятия решения (исправления);

- отслеживания;

- получения обратной связи, возникающей (устанавливаемой) после ввода в эксплуатацию СИИ;

б) критерии для определения проблем с обратной связью;

в) использование процесса менеджмента риска СИИ;

г) использование процесса решения проблем СИИ для анализа и принятия решений по проблемам, возникающим при эксплуатации СИИ;

д) использование процесса менеджмента конфигурации СИИ для управления модификациями существующей программной системой (см. раздел 9);

е) процедуры по оцениванию и осуществлению:

- обновления;

- нахождения ошибок;

- исправлений, вносимых в коды ("заплатки", "патчи");

- признания СИИ устаревшей.

План технической поддержки СИИ должен содержать уровень предоставления услуг технической поддержки.

7.2 Анализ модификации и проблем

7.2.1 Документирование и мониторинг обратной