Национальный стандарт РФ ГОСТ Р 59900-2021 "Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании" (утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. N 1622-ст) (с изменениями и дополнениями)

Национальный стандарт РФ ГОСТ Р 59900-2021
"Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании"
(утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. N 1622-ст)

С изменениями и дополнениями от:

30 марта 2022 г.

Artificial intelligence systems. Typical requirements for check samples of initial data for testing artificial intelligence systems in education

УДК 004.896:006.354
ОКС 35.240.90

Дата введения - 1 марта 2022 г.
Введен впервые

Предисловие

1 Разработан Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2 Внесен Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. N 1622-ст

4 Введен впервые

1 Область применения

Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных.

2 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1 образовательный продукт с алгоритмами искусственного интеллекта: Программно-техническая система, использующая алгоритмы искусственного интеллекта для решения различных задач в области образования.

2.2 гиперпараметры (в машинном обучении): Параметры системы искусственного интеллекта, значения которых задаются до начала обучения и не изменяются в процессе обучения.

Примечание - У системы искусственного интеллекта может не быть гиперпараметров.

2.3 обучающая выборка: Набор данных, на котором происходит обучение системы искусственного интеллекта.

2.4 валидационная выборка: Набор данных, на котором происходит оптимизация гиперпараметров системы искусственного интеллекта и выбор наилучшего алгоритма.

2.5 контрольная выборка: Набор данных, на котором происходит оценка качества работы системы искусственного интеллекта.

2.6 метрика (в машинном обучении): Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.

Примечание - При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.

3 Общие требования к контрольным выборкам исходных данных

3.1 Репрезентативность

Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.

Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.

Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки.

3.2 Ограничение в использовании контрольной выборки на этапе обучения системы

В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.

Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.

Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой.

3.3 Актуальность контрольной выборки

Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.

Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными.

3.4 Повторное использование контрольной выборки

Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки.

4 Объекты данных в образовании

4.1 В зависимости от категории и назначения образовательного продукта с алгоритмами искусственного интеллекта наборы данных собираются в отношении следующих объектов и процессов:

- описание и программы образовательных дисциплин, учебно-методические материалы;

- характеристики участников образовательной деятельности;

- учебные действия и коммуникация участников образовательной деятельности (обучающийся, педагогический работник);

- операции взаимодействия с информационными системами участников образовательной деятельности, в том числе цифровая тень;

- продуктивные результаты образовательной деятельности (созданные артефакты, в том числе в цифровой форме);

- оценки действий и артефактов;

- показатели и характеристики среды обучения.

4.2 Для каждого типа объекта должен быть определен период изменений, необходимый для обеспечения актуальности данных в контрольных выборках.

Например, для образовательных программ, должен быть назначен период изменения, равный принятому сроку обновления образовательных программ.

4.3 Примеры видов наборов данных и требования к контрольным выборкам для каждой категории данных представлены в приложении А.

5 Требования к описанию контрольных выборок данных в образовании

5.1 Контрольные выборки данных должны иметь определенный набор метаданных. Данный набор можно определить в трех категориях:

- описательные метаданные, описывают содержание и состояние данных;

- технические метаданные, описывают технические особенности хранения и обработки данных;

- операционные метаданные, описывают процессы обработки данных и доступа к ним.

5.2 Технические и операционные метаданные контрольных выборок должны содержательно соответствовать метаданным обучающей и валидационной выборок, на которых производилось обучение системы искусственного интеллекта, а также метаданным данных, которые будут использоваться в процессе эксплуатации образовательного продукта с алгоритмами искусственного интеллекта. Примеры наборов соответствующих данных приведены в разделах 4-6 таблицы А.1 приложения А.

5.3 Описательные метаданные контрольных выборок данных в образовании должны содержать следующие характеристики:

- контекст сбора данных (название образовательной программы, учебного курса, мероприятия и др.);

- характер данных (описание и план деятельности, фактически осуществленная деятельность, оценка деятельности);

- источник данных (обучающийся, педагог и др.);

- вид данных (данные о характеристиках обучающегося и/или педагога, данные о деятельности);

- уровень данных о деятельности (деятельность, действие, операция);

- вид образования (общее образование, профессиональное образование, дополнительное образование и др.);

- уровень образования (дошкольное образование; начальное общее образование; основное общее образование; среднее общее образование; среднее профессиональное образование; высшее образование - бакалавриат; высшее образование - специалитет, магистратура; высшее образование - подготовка кадров высшей квалификации);

- возраст обучающихся;

- уровень подготовки обучающихся;

- особенности обучающихся.

Ключевые слова: технологии искусственного интеллекта, образование, требования, контрольные выборки, исходные данные, испытание систем искусственного интеллекта в образовании.