Национальный стандарт РФ ГОСТ Р 59792-2021 "Информационные технологии. Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем" (утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 25 октября 2021 г. N 1284-ст)

Information technology. Set of standards for automated systems. Types of automated systems tests

УДК 004:006.354
МКС 35.240; 01.040.35

Дата введения - 30 апреля 2022 г.
Введен впервые

Предисловие

1 Разработан Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО "ИАВЦ")

2 Внесен Техническим комитетом по стандартизации ТК 22 "Информационные технологии"

3 Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 25 октября 2021 г. N 1284-ст

4 Введен впервые

1 Область применения

Настоящий стандарт распространяется на автоматизированные системы (АС), используемые в различных видах деятельности (исследования, проектирование, управление и т.п.), включая их сочетания, создаваемые в организациях, объединениях и на предприятиях (далее - организациях).

Настоящий стандарт устанавливает виды испытаний АС и общие требования к их проведению.

Термины и определения основных понятий в области автоматизированных систем, используемых в настоящем стандарте, приведены по ГОСТ 34.003.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 34.003 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения

ГОСТ 34.601 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания

ГОСТ Р 59795 Информационные технологии. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Требования к содержанию документов

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Общие положения

3.1 Испытания АС проводят на стадии "Ввод в действие" по ГОСТ 34.601 с целью проверки соответствия создаваемой АС требованиям технического задания на создание АС (далее - ТЗ на АС).

3.2 Испытания АС представляют собой процесс проверки выполнения заданных функций АС, определения и проверки соответствия требованиям ТЗ на АС количественных и (или) качественных характеристик АС, выявления и устранения недостатков в действиях системы, в разработанной документации.

3.3 Для АС устанавливают следующие основные виды испытаний:

- предварительные;

- опытная эксплуатация;

- приемочные.

Примечания

1 Допускается дополнительно проведение других видов испытаний АС и их частей.

2 Допускается классификация приемочных испытаний в зависимости от статуса приемочной комиссии (состав членов комиссии и уровень его утверждения).

3 Перечень проводимых испытаний и статус приемочной комиссии устанавливают в договоре и (или) ТЗ на АС.

3.4 В зависимости от взаимосвязей испытываемых в АС объектов испытания могут быть автономные или комплексные.

Автономные испытания охватывают части АС. Их проводят по мере готовности частей АС к сдаче в опытную эксплуатацию.

Комплексные испытания проводят для групп взаимосвязанных частей АС или для АС в целом.

3.5 Для планирования и проведения всех видов испытаний разрабатывают соответствующие им документы "Программа и методика испытаний" в соответствии с ГОСТ Р 59795. Разработчики документов устанавливаются в договоре или ТЗ на АС.

3.6 Программа и методика испытаний должна устанавливать необходимый и достаточный объем испытаний, обеспечивающий заданную достоверность получаемых результатов.

3.7 Программа и методика испытаний может разрабатываться на АС в целом, на части АС. В качестве приложения включаются тесты (контрольные примеры).

Программу и методику приемочных испытаний разрабатывают на АС в целом, или на очереди ввода ее в эксплуатацию, если они указаны в ТЗ.

Программу и методику приемочных испытаний АС утверждает заказчик.

3.8 Предварительные испытания АС проводят с целью предварительной оценки соответствия АС требованиям ТЗ на АС, а также определения ее работоспособности и готовности к опытной эксплуатации.

3.9 Предварительные испытания следует выполнять после проведения разработчиком отладки и тестирования поставляемых технических и программных средств АС и представления им соответствующих документов об их готовности к испытаниям, а также после ознакомления персонала АС с эксплуатационной документацией.

3.10 Опытную эксплуатацию АС проводят с целью определения фактических значений количественных и качественных характеристик АС, обнаружения и устранения ошибок, допущенных при проектировании и разработке АС, готовности пользователей и персонала к работе в условиях функционирования АС, определения фактической эффективности АС, корректировки (при необходимости) документации.

3.11 Приемочные испытания АС проводят для определения соответствия АС техническому заданию на создание АС, оценки качества опытной эксплуатации и решения вопроса о возможности приемки АС в постоянную эксплуатацию.

3.12 В зависимости от вида требований, предъявляемых к АС на испытаниях, проверке или аттестации подвергают:

- комплекс программных и технических средств;

- персонал;

- эксплуатационную документацию, регламентирующую деятельность пользователей и персонала при функционировании АС;

- АС в целом.

3.13 При испытаниях АС проверяют:

- соответствие АС требованиям ТЗ на АС;

- комплектность АС;

- качество документации;

- выполнение функций АС или частей АС во всех режимах функционирования, установленных в ТЗ на АС;

- количество и квалификацию обслуживающего персонала;

- выполнение требований техники безопасности, противопожарной безопасности, экологичности, эргономики.

3.14 Испытания АС следует проводить на объекте заказчика. По согласованию между заказчиком и разработчиком предварительные испытания и приемку программных средств АС допускается проводить на технических средствах разработчика при создании условий получения достоверных результатов испытаний.

3.15 Допускается последовательное проведение испытаний по соответствующим программам и методикам испытаний и сдача частей АС в опытную и постоянную эксплуатацию при соблюдении установленной в ТЗ на АС очередности ввода АС в действие.

4 Предварительные испытания

4.1 Предварительные испытания АС могут быть:

- автономные;

- комплексные.

4.2 Автономные испытания

4.2.1 Автономные испытания АС следует проводить в соответствии с программой и методикой предварительных испытаний. Для каждой части АС могут разрабатываться методики автономных испытаний, утверждаемые разработчиком части АС.

4.2.2 В программе и методике предварительных испытаний для автономных испытаний указывают:

- перечень и комплектность объектов автономных испытаний;

- описание взаимодействия пользователей с комплексами программных и технических средств;

- объем, условия, порядок и методы проведения испытаний и обработки результатов;

- материально-техническое обеспечение испытаний;

- перечень функций, подлежащих проверке;

- критерии приемки частей АС по результатам испытаний;

- порядок, методики и условия проведения проверок функционирования частей АС;

- обеспечение безопасности при проведении испытаний.

К программе и методике предварительных испытаний следует прилагать график проведения автономных испытаний.

4.2.3 Подготовленные и согласованные тесты (контрольные примеры) на этапе автономных испытаний должны обеспечить:

- полную проверку выполнения функций и процедур по перечню, согласованному с заказчиком;

- необходимую точность вычислений, установленную в ТЗ на АС;

- проверку основных временных характеристик функционирования программных средств (при необходимости);

- проверку показателей АС для ее составных частей на соответствие требованиям ТЗ на АС.

4.2.4 В качестве исходной информации для теста рекомендуется использовать фрагмент реальной информации заказчика в объеме, достаточном для обеспечения необходимой достоверности испытаний.

4.2.5 Результаты автономных испытаний частей АС фиксируют в протоколах испытаний по формам, приведенным в программе и методике предварительных испытаний.

4.2.6 В случае, если результаты проведенных автономных испытаний не будут удовлетворять требованиям к проверяемой части АС, указанным в программе и методике предварительных испытаний, либо выявлено нарушение требований по условиям проведения испытаний, указанная часть АС должна быть возвращена на доработку и назначен новый срок проведения испытаний.

4.3 Комплексные испытания

4.3.1 Комплексные испытания АС проводят путем выполнения проверок согласно программе и методике предварительных испытаний. Результаты проверок фиксируют в протоколе. При положительных результатах проверок оформляют и утверждают акт приемки в опытную эксплуатацию. В случае, если результаты одной или нескольких проверок не являются положительными, оформляют и утверждают акт о приостановке испытаний АС с указанием необходимости ее доработки. После доработки АС повторно предъявляется на испытания.

Комплексные испытания АС проводят путем выполнения комплексных тестов. Результаты испытаний отражают в протоколе.

4.3.2 В программе и методике предварительных испытаний для комплексных испытаний АС или частей АС указывают:

- перечень и комплектность объектов комплексных испытаний;

- описание проверяемых взаимосвязей между объектами испытаний;

- очередность испытаний частей АС;

- объем, условия, порядок и методы проведения испытаний и обработки результатов;

- материально-техническое обеспечение испытаний;

- перечень функций, подлежащих проверке;

- очередность проверок частей АС и АС в целом;

- критерии приемки частей АС и АС в целом по результатам испытаний;

- порядок, методики и условия проведения проверок функционирования и взаимодействия частей АС, функционирования АС в целом;

- обеспечение безопасности при проведении испытаний.

К программе и методике предварительных испытаний следует прилагать график проведения комплексных испытаний.

4.3.3 Для проведения комплексных испытаний должны быть представлены:

- АС или части АС, подвергаемые испытаниям;

- программа и методика предварительных испытаний;

- ТЗ на АС и ТЗ на части АС (при наличии);

- протоколы автономных испытаний частей АС и документы, подтверждающие устранение ошибок и замечаний, выявленных при автономных испытаниях;

- согласованные комплексные тесты (контрольные примеры);

- программные средства и оборудование, необходимые для проведения испытаний, и соответствующая им эксплуатационная документация.

4.3.4 При комплексных испытаниях допускается использовать в качестве исходной информацию, полученную на автономных испытаниях частей АС.

4.3.5 Комплексный тест должен:

- обеспечивать проверку выполнения функций АС или частей АС во всех режимах функционирования, установленных в ТЗ на АС, в том числе проверку взаимодействия между частями АС;

- обеспечивать проверку реакции системы на некорректную информацию и аварийные ситуации;

- обеспечивать проверку показателей АС в целом и ее составных частей на соответствие требованиям ТЗ на АС.

4.3.6 Протокол комплексных испытаний должен содержать заключение о готовности (неготовности) АС или ее соответствующей очереди к опытной эксплуатации, а также перечень необходимых доработок (при наличии) и рекомендуемые сроки их выполнения.

После завершения доработок проводят повторные комплексные испытания в необходимом объеме с оформлением протокола.

4.3.7 Комплексные испытания завершаются оформлением и утверждением акта предварительных испытаний и подготовкой уведомления о готовности АС к опытной эксплуатации.

5 Опытная эксплуатация

5.1 Опытную эксплуатацию проводят в соответствии с программой опытной эксплуатации, в которой указывают:

- условия и порядок функционирования АС и ее частей;

- продолжительность опытной эксплуатации, достаточную для проверки правильности функционирования АС при выполнении системой всех функций, перечисленных в ТЗ на АС, и подготовленности персонала к работе со средствами АС в условиях ее опытной эксплуатации;

- порядок устранения недостатков, выявленных в процессе опытной эксплуатации.

5.2 Во время опытной эксплуатации АС ведут журнал, в который заносят сведения о продолжительности функционирования АС, отказах, сбоях, аварийных ситуациях, изменениях параметров объекта автоматизации, проводимых корректировках документации и программных средств, наладке технических средств. Сведения фиксируют в журнале с указанием даты и ответственного лица. В журнал могут быть занесены замечания пользователей и персонала по удобству эксплуатации АС.

5.3 По результатам опытной эксплуатации принимают решение о готовности предъявления частей АС и системы в целом на приемочные испытания, или о неготовности предъявления частей АС и системы в целом на приемочные испытания и необходимости ее доработки.

Опытная эксплуатация завершается оформлением и утверждением акта о завершении опытной эксплуатации и подготовкой уведомления о готовности АС к приемочным испытаниям.

6 Приемочные испытания

6.1 Приемочные испытания проводят в соответствии с программой и методикой приемочных испытаний, в которой указывают:

- перечень и комплектность объектов приемочных испытаний;

- перечень требований, которым должны соответствовать АС и ее части (со ссылкой на пункты ТЗ на АС);

- объем, условия, порядок и методы проведения испытаний и критерии оценки результатов;

- перечень и последовательность проверок, которым должна быть подвергнута АС в соответствии с требованиями ТЗ на АС;

- методы выполнения проверок на соответствие показателей АС в целом и ее составных частей требованиям ТЗ на АС;

- материально-техническое и метрологическое обеспечение испытаний;

- критерии приемки АС и ее частей;

- реквизиты лиц, ответственных за проведение испытаний;

- порядок, методики и условия проведения проверок функционирования и взаимодействия частей АС, функционирования АС в целом в соответствии с требованиями ТЗ на АС;

- обеспечение безопасности при проведении испытаний;

- перечень и виды отчетной документации.

Программу и методику приемочных испытаний утверждает заказчик.

6.2 Приемочные испытания АС или ее соответствующей очереди, вводимой в постоянную эксплуатацию, проводит комиссия, назначенная заказчиком, на объекте эксплуатации в соответствии с утвержденной им программой и методикой испытаний.

Сроки проведения приемочных испытаний и состав комиссии определяются заказчиком. В состав комиссии включаются представители разработчика.

6.3 Для проведения приемочных испытаний должны быть представлены:

- уведомление о готовности АС или ее соответствующей очереди к приемочным испытаниям;

- ТЗ на АС и ТЗ на части АС (при наличии);

- АС или ее соответствующая очередь, подвергаемые испытаниям;

- документация на АС;

- программа и методика приемочных испытаний;

- согласованные тесты (контрольные примеры);

- программные средства и оборудование, необходимые для проведения испытаний, и соответствующая им эксплуатационная документация;

- акт приемки в опытную эксплуатацию;

- акт о завершении опытной эксплуатации.

При необходимости может быть представлена дополнительная документация, в том числе журналы опытной эксплуатации, материалы технического проекта, протоколы испытаний.

6.4 Приемочные испытания в первую очередь должны включать проверку:

- полноты и качества реализации функций при штатных, предельных, критических значениях параметров объекта автоматизации и в других условиях функционирования АС, указанных в ТЗ на АС;

- удобства работы пользователей и персонала;

- средств и методов восстановления работоспособности АС после отказов;

- комплектности и качества эксплуатационной документации.

6.5 Проверку полноты и качества выполнения функций АС рекомендуется проводить в два этапа. На первом этапе проводят испытания отдельных функций (задач, комплексов задач). При этом проверяют выполнение требований ТЗ на АС к функциям (задачам, комплексам задач). На втором этапе проводят проверку взаимодействия задач в АС и выполнение требований ТЗ на АС для АС в целом.

6.6 По согласованию с заказчиком проверка задач в зависимости от их специфики может проводиться автономно или в составе комплекса. Объединение задач при проверке в комплексах целесообразно проводить с учетом общности используемой информации и внутренних связей.

6.7 Проверку удобства работы пользователей и персонала проводят с учетом полноты и качества выполнения функций АС в целом.

Проверке подлежат:

- полнота сообщений и запросов, доступных оператору, и их достаточность для эксплуатации системы;

- возможность работы пользователей и персонала без специальной подготовки;

- реакция АС и ее частей на ошибки оператора, функциональность сервисных средств.

6.8 Проверка средств восстановления работоспособности АС после отказов технических средств должна включать:

- проверку наличия в эксплуатационной документации рекомендаций по восстановлению работоспособности и полноту их описания;

- практическую выполнимость рекомендованных процедур;

- работоспособность средств автоматического восстановления функционирования (при их наличии).

6.9 Проверку комплектности и качества эксплуатационной документации следует проводить путем анализа документации на соответствие требованиям нормативно-технических документов и ТЗ на АС.

6.10 Результаты испытаний объектов, предусмотренных программой и методикой испытаний, фиксируют в протоколах, содержащих следующие разделы:

- назначение испытаний и номер раздела требований ТЗ на АС, по которому проводят испытание;

- состав технических и программных средств, используемых при испытаниях;

- указание проверок, в соответствии с которыми проводились испытания, обработка и оценка результатов;

- условия проведения испытаний и характеристики исходных данных;

- используемые средства тестирования;

- обобщенные результаты испытаний;

- выводы о результатах испытаний и соответствии созданной АС или ее частей определенному разделу требований ТЗ на АС.

6.11 Протоколы испытаний объектов обобщают в едином протоколе, на основании которого делают заключение о соответствии системы требованиям ТЗ на АС и возможности оформления акта приемки АС в постоянную эксплуатацию.

6.12 Приемочные испытания завершаются оформлением и утверждением акта о приемке АС в постоянную эксплуатацию.

Ключевые слова: информационные технологии, автоматизированные системы, виды испытаний, приемочные испытания.