Приложение Б (справочное). Примеры содержимого для плана управления изменениями системы искусственного интеллекта с непрерывным обучением после получения данных о практическом применении

Приложение Б
(справочное)

Примеры
содержимого для плана управления изменениями системы искусственного интеллекта с непрерывным обучением после получения данных о практическом применении

План управления изменениями алгоритма описывает методы, которые использует изготовитель для надлежащего контроля рисков, связанных с изменениями, описанных в технической документации СИИ. План управления изменениями алгоритма предоставляет детальное описание данных и процедур, которым необходимо следовать, чтобы изменение было успешно выполнено, а СИИ оставалась безопасной и эффективной после изменения.

Ниже приведен рекомендованный список некоторых компонентов, план управления изменениями алгоритма, который можно дополнить при необходимости.

План управления данными: как данные будут собирать, добавлять к существующим наборам данных и использовать. Этот план содержит:

- план обеспечения качества, с помощью которого определяют критерии к новым данным для включения в расширенный набор обучающих данных;

- план по доразметке всех или части новых данных, если таковая необходима;

- подход к определению данных, включаемых в проверочный набор данных;

- стратегию увеличения набора данных, которая позволяет добавлять дополнительные данные для обучения и проверок;

- стратегию аудита, мониторинга, документирования проверочных наборов данных, а также контроля доступа как к обучающим, так и к проверяющим наборам данных пересмотренного алгоритма.

Протоколы для повторного обучения/оптимизации СИИ. Эти протоколы могут включать в себя:

- стратегию повторного обучения, которая описывает цель повторного обучения;

- компоненты, которые могут быть изменены в результате обучения;

- любые критерии, которые должны быть соблюдены в процессе повторного обучения, чтобы получить более содержательную оценку эффективности с использованием набора проверочных данных.

Протоколы оценки эффективности. Эти протоколы могут включать в себя:

- описание интервалов между изменениями СИИ и началом процедуры клинической валидации СИИ;

- определение соответствующих показателей и процедур анализа;

- планы статистического анализа;

- предпринимаемые меры для предотвращения утечки информации о проверочном наборе данных;

- целевые показатели эффективности, которые должна достичь СИИ;

- протоколы тестирования, которые могут быть применимы к этой СИИ, например, тестирование с участием врачей.

В описании процедуры обновления указывают как обновленную СИИ будут тестировать и тиражировать при выпуске. Процедуры обновления могут включать описание плана обновления, в том числе ожидаемую частоту обновлений и будут ли обновления глобальными (если все СИИ используют одну и ту же адаптацию) или локальными (распространяется несколько адаптаций алгоритма, нацеленных на определенные подгруппы пользователей). Также допускается включать описание процесса синхронизации различных копий модели (federated learning), если централизованное обучение алгоритма невозможно (например, по причине невозможности копирования всех новых данных в централизованное хранилище) (см. [1]).