Эксплуатационные параметры систем искусственного интеллекта и методы их оценки и контроля
Методы оценки и контроля эксплуатационных параметров СИИ рекомендуется указывать изготовителю в технической и эксплуатационной документациях. В левой графе таблицы А.1 перечислены эксплуатационные параметры СИИ в соответствии с разделом 4. В правой графе таблицы А.1 - методики, применимые для оценки и контроля соответствующего параметра.
|
Эксплуатационный параметр
|
Оценка и контроль
|
|
Ошибки 1-го и 2-го рода при принятии решений
|
Оценка по разрабатываемой для СИИ методике, которая включает требования к данным для испытаний, процедуры расчета параметров, оценки погрешностей испытаний и т.д.
|
|
Показатели эффективности СИИ
|
Оценка согласно методике контроля чувствительности, специфичности и т.п.
|
|
Тип принимаемого решения
|
Проверка соответствия требованиям, заявленным в технической и эксплуатационной документациях СИИ
|
|
Набор заключений СИИ
|
Оценку производят по 2 сценариям:
- если заключения изначально зафиксированы и СИИ использует только эти заключения, то опираются на документацию;
- если в процессе эксплуатации СИИ допускается расширение вариантов заключений, то необходимо оценивать ошибки 1-го и 2-го рода
|
|
Разнородность входных данных
|
Проверка соответствия технической и эксплуатационной документациям, если требования к качеству входных данных определены.
Оценка согласно методике оптимизации качества входных данных
|
|
Формат входных данных
|
Проверку проводят согласно технической документации СИИ
|
|
Тип анализируемого объекта
|
Оценку проводят согласно технической и эксплуатационной документациям на СИИ по методикам оценок ошибок 1-го и 2-го рода для различного рода входных данных
|
|
Способ обучения системы в процессе эксплуатации
|
Оценка технической документации СИИ, соответствие которой проверяют посредством тестов после выпуска новых версий СИИ и ее адаптаций
|
|
Адаптируемость к новым типам данных при вводе СИИ в эксплуатацию
|
Оценка происходит посредством тестирований для различных типов входных данных (классов изображений)
|
|
Режим обработки данных при вводе СИИ в эксплуатацию
|
Оценка времени отклика СИИ, затрачиваемого времени принятия решения и т.д., путем методики хронометража
|
|
Производительность при вводе СИИ в эксплуатацию и при периодическом контроле
|
Оценка заявленной скорости работы с использованием методики хронометража
|
|
Требования к вычислительным ресурсам при вводе СИИ в эксплуатацию и при периодическом контроле
|
Оценка заявленной скорости работы при заданных вычислительных ресурсах с использованием методики хронометража
|
|
Требования к сетевым ресурсам
|
Оценка соответствия характеристик сетевых ресурсов, используемых при эксплуатации на соответствие требованиям технической документации СИИ
|
|
Масштабируемость системы при вводе СИИ в эксплуатацию
|
Оценка соответствия характеристик сетевых ресурсов, используемых при эксплуатации, требованиям технической документации СИИ
|
|
Взаимодействие с техническими системами сбора данных
|
Проверка соответствия требованиям, заявленным в технической документации СИИ
|
|
Вид архитектуры при вводе СИИ в эксплуатацию
|
Проверка соответствия требованиям, заявленным в технической документации СИИ
|
|
Требования к среде функционирования при вводе СИИ в эксплуатацию
|
Проверка соответствия требованиям, заявленным в технической документации СИИ
|
|
Программная совместимость при вводе СИИ в эксплуатацию и при периодическом контроле
|
Проверка соответствия требованиям, заявленным в технической документации СИИ
|
