Государственный стандарт РФ ГОСТ Р ИСО/МЭК 9646-1-93 "Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие положения" (утв. и введен в действие постановлением Госстандарта РФ от 20 декабря 1993 г. N 262)

Государственный стандарт Российской Федерации ГОСТ Р ИСО/МЭК 9646-1-93
"Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие положения"
(утв. и введен в действие постановлением Госстандарта РФ от 20 декабря 1993 г. N 262)

Information technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 1: General Concepts

Дата введения 1 июля 1994 г.

Введен впервые

Введение

Цели ВОС не будут полностью достигнуты до тех пор, пока системы не смогут быть проверены на соответствие необходимой(мым) протокольной(ым) спецификации(ям), в качестве которой(ых) могут быть стандарты или рекомендации МККТТ по ВОС.

Стандартные абстрактные тестовые комплекты должны быть разработаны для каждого стандарта или рекомендации МККТТ, определяющих протоколы ВОС, с целью их использования поставщиками или разработчиками при самостоятельном тестировании, пользователями продуктов ВОС, администрациями связи и признанными частными эксплуатационными агентствами или испытательными организациями третьей стороны. Это должно обеспечить сравнимость и широкую применимость результатов тестирования, полученных различными испытательными лабораториями, и тем самым, минимизировать необходимость повторного аттестационного тестирования одной и той же системы.

Стандартизация тестовых комплектов требует определения и принятия методологии общего тестирования, а также соответствующих методов и процедур тестирования. Цель настоящего стандарта состоит в том, чтобы определить методологию, разработать общие принципы спецификации комплектов аттестационных тестов и описать процедуры, которые необходимо выполнять в процессе тестирования.

Аттестационное тестирование охватывает проверку как функциональных возможностей, так и поведения некоторой реализации, а также проверку реально наблюдаемого объекта относительно требований к соответствию, устанавливаемых в стандартах или рекомендациях МККТТ, и заявлений разработчика о функциональных возможностях данной реализации.

Аттестационное тестирование не предполагает оценки ни эксплуатационных характеристик, ни жизнеспособности или надежности некоторой реализации. Оно не может дать оценку физической реализации абстрактных сервисных примитивов, способа реализации системы, способа обеспечения запрашиваемой услуги или функциональной среды реализации протокола. Оно не может, кроме как косвенным путем, подтвердить что-либо относительно логического построения самого протокола.

Цель аттестационного тестирования состоит в том, чтобы повысить вероятность надлежащего взаимодействия различных реализаций. Следует, однако, учитывать, что сложность большинства протоколов делает непрактичным исчерпывающее тестирование как с технической, так и с экономической точки зрения. Кроме того, тестирование не может гарантировать соответствие спецификации, поскольку оно обнаруживает наличие ошибок, а не их отсутствие. Таким образом, одни только тестовые комплекты не могут гарантировать взаимодействие. Они дают лишь уверенность в том, что некоторая реализация обладает необходимыми функциональными возможностями и что ее поведение устойчиво удовлетворяет предъявляемым требованиям в достаточно представительном числе сеансов обмена данными.

Следует заметить, что базовая эталонная модель ВОС ГОСТ 28906 (ИСО 7498 или Х.200 (1984)) констатирует (в 4.3): "Только внешнее поведение открытых систем является стандартным поведением реальных открытых систем".

Последнее означает, что хотя в стандартах и рекомендациях МККТТ по ВОС описаны аспекты как внутреннего, так и внешнего поведения, но реальные открытые системы должны удовлетворять только требованиям к внешнему поведению. И хотя некоторые из описанных в настоящем стандарте методов налагают на разработчика определенные ограничения, как, например, необходимость некоторых средств реализации контроля и наблюдения в одном или нескольких пунктах доступа к услугам, следует заметить, что другие методы, описанные в настоящем стандарте, не налагают таких ограничений.

Однако, в случае оконечных систем частично соответствующих ВОС, которые обеспечивают протоколы ВОС, вплоть до границы конкретного уровня, желательно проверять как внешнее поведение реализованных логических объектов протокола, так и потенциальные возможности этих логических объектов по обеспечению их надлежащего внешнего поведения на вышерасположенных уровнях.

Детальное исследование относительных преимуществ, эффективности и ограничений всех методов проведено в различных частях настоящего стандарта. Однако любая организация, предполагающая использование описываемых в ГОСТ Р ИСО/МЭК 9646-2 методов тестирования в таких контекстах, как выдача удостоверений, должна внимательно рассмотреть ограничения, налагаемые на применимость и преимущества различных возможных методов тестирования.

ИСО/МЭК и МККТТ считают, что тестирование является произвольным. Требования к тестированию при поставках и других внешних контрактах не являются предметом стандартизации.

Настоящий стандарт опубликован также как рекомендация Х.290 (1991) МККТТ.

1 Область применения

1.1 Настоящий стандарт определяет общую методологию проверки соответствия изделий тем стандартам или рекомендациям МККТТ по протоколам ВОС, о реализации которых заявлено. Эта методология используется также для проверки соответствия стандарту или рекомендации МККТТ по синтаксису передачи в той степени, которую можно достичь путем тестирования каждого такого протокола в сочетании с конкретным протоколом ВОС.

1.2 Содержимое настоящего стандарта в принципе применимо также к аттестационному тестированию двухчастевых протоколов сетей ЦСИО.

1.3 Настоящий стандарт применим к различным фазам процесса аттестационного тестирования, которые характеризуются следующими тремя основными активностями:

а) спецификация комплектов абстрактных тестов для конкретных протоколов ВОС;

b) реализация способов выполнения конкретных тестовых примеров;

с) процесс оценки соответствия, выполняемый в испытательной лаборатории для конкретного клиента и достигающий своей кульминации в создании "отчета об аттестационном тестировании протокола", который содержит результаты в понятиях спецификации протокола и используемого тестового комплекта.

Настоящий стандарт состоит из пяти отдельных частей, каждая из которых, начиная с части 1, применима к одной из указанных активностей.

Настоящий стандарт применим ко всем трем активностям, обеспечивая консультативный вводной материал вместе с определениями общих понятий и терминов.

Примечание - В ГОСТ Р ИСО/МЭК 9646-2 содержатся требования и руководящие материалы по спецификации комплектов абстрактных тестов независимо от тестовой нотации. В ИСО/МЭК 9646-3 определена рекомендуемая тестовая нотация. В ГОСТ Р ИСО/МЭК 9646-4 рассмотрены требования и руководящие материалы по реализации способов тестирования, а в ГОСТ Р ИСО/МЭК 9646-5 - требования и руководящие материалы для испытательных лабораторий и их клиентов при выполнении процесса аттестационного тестирования.

1.4 Настоящий стандарт устанавливает требования и предоставляет руководство по процедурам, выполняемым при аттестационном тестировании ВОС.

1.5 В настоящем стандарте содержится только информация, необходимая для:

a) достижения адекватного уровня достоверности в тестах, как в руководстве по соответствию;

b) достижения сопоставимости результатов соответствующего тестирования, проводимого над различными частями и в различные моменты времени;

c) обеспечения обмена данными между партнерами, ответственными за указанные в 1.2 активности для частей 2-5.

1.6 Настоящий стандарт содержит консультативный вводный материал, который обеспечивает:

a) представление смысла соответствия в контексте ВОС;

b) описание основных категорий тестов соответствия;

c) введение в процесс оценки соответствия;

d) введение в методы абстрактного тестирования и их применимость;

e) введение в понятия структуры тестового комплекта.

Кроме того, в настоящем стандарте рассмотрена взаимосвязь между другими частями стандарта и активностями, задействованными в аттестационном тестировании, и введено понятие согласованности с другими частями стандарта.

1.7 Перечисленное ниже не входит в предмет рассмотрения настоящего стандарта:

a) выдача сертификата, как некоторая административная процедура, которая может следовать за аттестационным тестированием;

b) требования к поставке и контрактам;

c) тестирование методами, специфичными для конкретных применений, протоколов и систем;

d) тестирование непротокольных требований к соответствию;

е) методы тестирования, охватывающие более двух взаимодействующих оконечных систем.

Примечание - Настоящий стандарт в целом неприменим ко всем протоколам физического уровня. Тем не менее, многие из его концепций применимы ко всем протоколам.

2 Нормативные ссылки

Нижеперечисленные стандарты содержат положения, которые путем ссылок на них в настоящем стандарте образуют его положения. В момент публикации настоящего стандарта указанные издания стандартов были действующими. Все стандарты подвергаются пересмотрам и участникам соглашений, основанных на настоящем стандарте, следует рассмотреть возможность применения самых последних изданий перечисленных ниже стандартов. Комитеты - члены МЭК и ИСО имеют списки международных стандартов, действующих на текущий момент.

ГОСТ 28906-91 (ИСО 7498) Системы обработки информации. Взаимосвязь открытых систем. Базовая эталонная модель. (См. также рекомендацию Х.200 МККТТ)

ИСО/ТО 8509 Системы обработки информации. Взаимосвязь открытых систем. Соглашения по услугам. (См. также рекомендацию Х.210 МККТТ)*

ГОСТ 34.974 (ИСО 8825) Системы обработки информации. Взаимосвязь открытых систем. Спецификация базовых правил кодирования для абстрактно-синтаксической нотации версии 1 (АСН. 1) (См. также рекомендацию Х.209 МККТТ)

ГОСТ Р ИСО 9646-2 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта (См. также рекомендацию Х.291 МККТТ).

ИСО 9646-3 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 3. Комбинированная древовидная и табличная нотация. (См. также рекомендацию X.292 МККТТ)*

ГОСТ Р ИСО 9646-4 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 4. Реализация тестов. (См. также рекомендацию Х.293 МККТТ).

ГОСТ Р ИСО 9646-5 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия. (См. также рекомендацию Х.294 МККТТ)

3 Определения

3.1 Определения, принятые в эталонной модели

Настоящий стандарт основан на понятиях, установленных в базовой эталонной модели ВОС (ГОСТ 28906) и использует следующие принятые в ней термины:

a) (N) - логический объект

b) (N) - уровень

c) (N) - протокол

d) (N) - протокольный-блок-данных

e) (N) - ретранслятор

f) (N) - услуга

g) (N) - пункт-доступа-к-услугам

h) реальная система

i) реальная открытая система

j) подсеть

к) сервисный-элемент-прикладного-уровня

l) синтаксис передачи

m) физический уровень

n) уровень звена данных

о) сетевой уровень

р) транспортный уровень

q) сеансовый уровень

r) уровень представления

s) прикладной уровень.

3.2 Термины, принятые в других международных стандартах, рекомендациях МККТТ и технических отчетах

Настоящий стандарт использует следующие термины, принятые в соглашениях по услугам ВОС (ИСО/ТО 8509/МККТТ Х.210):

a) пользователь-услуг

b) поставщик-услуг

c) сервисный примитив

Настоящий стандарт использует термин "кодирование", принятый в АСН. 1 (ГОСТ 34.974) .

3.3 Определения по аттестационному тестированию

В 3.4 по 3.8 перечислены термины, используемые в настоящем стандарте.

3.4 Основные термины

3.4.1 Тестируемая реализация (ТР) - та часть реальной открытой системы, которая подлежит исследованию методом тестирования и представляет собой реализацию одного или нескольких протоколов ВОС при взаимодействии поставщика со смежным пользователем.

3.4.2 Тестируемая система (ТС) - реальная открытая система, в которой содержится ТР.

3.4.3 Требования к динамическому соответствию - одно из требований, которое определяет, какие наблюдаемые характеристики разрешены соответствующими стандартами или рекомендациями МККТТ по ВОС в сеансах обмена данными.

3.4.4 Требования к статическому соответствию - одно из требований, которое определяет ограничения на комбинации реализуемых возможностей, разрешенных в реальной открытой системе, претендующей на соответствие стандарту или рекомендации МККТТ по ВОС.

3.4.5 Характеристики (реализации) - набор функций в рассматриваемом(ых) протоколе(ах), которые обеспечиваются данной реализацией.

3.4.6 Заявка о соответствии реализации протоколу (ЗСРП) - заявка, составленная поставщиком изделия или системы ВОС, констатирующая реализованные характеристики для заданного протокола ВОС.

3.4.7 Форма ЗСРП - документ в форме анкеты, составленный разработчиком протокола или комплекта аттестационных тестов, который, будучи заполнен для некоторого изделия или системы ВОС, становится ЗСРП.

3.4.8 Дополнительная информация о реализации протокола для тестирования (ДИРПТ) - заявка, составленная поставщиком или разработчиком ТР, которая содержит всю информацию или ссылки на нее (дополнительно к информации ЗСРП), относящейся к ТР и условиям ее тестирования, и которая может позволить испытательной лаборатории осуществить прогон соответствующего комплекта тестов относительно данной ТР.

3.4.9 Форма ДИРПТ - документ в форме анкеты, составляемый испытательной лабораторией, который, будучи заполнен при подготовке к тестированию, становится ДИРПТ.

3.4.10 Аттестационная реализация - ТР, удовлетворяющая требованиям статического и динамического соответствия, которые согласуются с характеристиками, установленными в ЗСРП.

3.4.11 Заявка о соответствии системы (ЗСС) - документ, обобщающий реализованные стандарты и рекомендации МККТТ по ВОС, а также документы, соответствие которым заявляется.

3.4.12 Клиент (испытательной лаборатории) - организация, представляющая систему или реализацию на аттестационное тестирование.

3.4.13 Испытательная лаборатория - организация, выполняющая аттестационное тестирование. Это может быть третья сторона, пользовательская организация, администрация связи или признанное частное эксплуатационное агентство, либо идентифицируемая часть организации поставщика.

3.5 Виды тестирования

3.5.1 Анализ статического соответствия - анализ той степени, в которой ТР удовлетворяет требованиям к статическому соответствию, путем сравнения ЗСРП с требованиями к статическому соответствию, определенными в соответствующем(их) стандарте(ах) или рекомендации(иях) МККТТ.

3.5.2 Тестирование основной взаимосвязи (ТОВ) - ограниченное тестирование некоторой ТР с целью определения наличия достаточного соответствия рассматриваемому(ым) протоколу(ам) относительно возможных взаимосвязей без попытки выполнения полного тестирования.

3.5.3 Тестирование функциональных возможностей - тестирование с целью проверки наличия одной или нескольких заявленных функциональных возможностей ТР.

Примечание - Сюда относится проверка всех обязательных характеристик и тех факультативных возможностей, которые заявлены в ЗСРП как обеспечиваемые, но без проверки тех факультативных возможностей, которые заявлены в ЗСРП, как необеспечиваемые данной ТР.

3.5.4 Тестирование поведения - тестирование для определения степени, в которой одно или несколько требований к динамическому соответствию удовлетворяются данной ТР.

3.5.5 Тест разрешения соответствия - нестандартный, возможно, специфичный для системы тест, предназначенный для выполнения тех целей тестирования, для которых не определен стандартный абстрактный тестовый пример, с тем, чтобы оценить поведение протокольной реализации ВОС относительно одного или нескольких требований к соответствию.

3.5.6 Аттестационное тестирование - тестирование в той степени, в которой ТР является аттестованной реализацией.

3.5.7 Процесс оценки соответствия - полный процесс выполнения всех действий аттестационного тестирования, необходимых для оценки соответствия некоторой реализации или системы одному или нескольким стандартам по ВОС или рекомендациям МККТТ.

3.5.8 Тестовая кампания - процесс выполнения параметризованного выполнимого тестового примера для конкретной ТР и выработки журнала соответствия.

3.5.9 Внутреннее тестирование - тестирование, определенное для отдельного протокола в многопротокольной ТР, включая спецификацию протокольной активности расположенной над тестируемой активностью, но без специфицированного контроля или наблюдения на границах услуг многопротокольной ТР.

Примечание - В этом определении предполагается, что протоколы ТР упорядочены в виде непрерывного взаимоотношения смежных пользователя и поставщика.

3.6 Терминология тестовых комплектов

3.6.1 Метод (абстрактного) тестирования (МАТ) - описание метода тестирования ТР, изложенное на соответствующем уровне абстрагирования, с тем, чтобы обеспечить его независимость от любой конкретной реализации средств тестирования, однако с той степенью детализации, которая достаточна для обеспечения спецификации тестов при использовании этого метода.

3.6.2 Методология абстрактного тестирования - способ описания и классификации методов абстрактного тестирования.

3.6.3 Абстрактный тестовый пример - полная и независимая спецификация действий, необходимых для достижения конкретной цели тестирования (или заданной комбинации целей тестирования), определенная на уровне абстрагирования конкретного метода абстрактного тестирования, начинающаяся и заканчивающаяся в устойчивом состоянии тестирования. Эта спецификация может охватывать одно или несколько последовательных или параллельных соединений.

Примечания

1 Эта спецификация должна быть полной в том смысле, что она достаточна для однозначного назначения вердикта каждому потенциально наблюдаемому результату тестирования (т.е. последовательности событий тестирования).

2 Эта спецификация должна быть независимой в том смысле, что она должна обеспечивать выполнение образуемого примера выполнимого тестового примера отдельно от других подобных тестовых примеров (это значит, что спецификация должна всегда предусматривать возможность начала и окончания в состоянии "холостое").

3.6.4 Пример выполнимого теста - реализация абстрактного тестового примера.

Примечание - Вообще говоря, использование слова "тест" в настоящем стандарте предполагает его обычный смысл, принятый в литературе. Иногда оно может использоваться в качестве сокращения для абстрактного тестового примера или выполнимого тестового примера. В конкретном контексте этот смысл должен быть понятен.

3.6.5 Цель тестирования - текстовое описание узко определенной цели тестирования с акцентом на отдельное требование соответствия, определенное в соответствующем(их) стандарте(ах) по ВОС или рекомендации(ях) МККТТ (например, верификация обеспечения конкретного значения конкретного параметра).

3.6.6 Цель группы тестов - текстовое описание общей цели, которую должны достичь цели тестирования в пределах конкретной группы тестов.

3.6.7 Общий тестовый пример - спецификация действий, необходимых для достижения заданной цели тестирования, определяемая телом теста в сочетании с описанием начального состояния, в котором должно начинаться тело теста.

3.6.8 Преамбула (теста) - последовательность шагов теста, начиная от начального устойчивого состояния тестового примера и кончая начальным состоянием тестирования, из которого должно начинаться тело теста.

3.6.9 Тело теста - последовательность шагов теста, достигающая цели тестирования.

3.6.10 Постамбула (теста) - последовательность шагов теста, начиная от конца тела теста и кончая окончательным устойчивым состоянием (или состояниями) данного тестового примера.

3.6.11 Шаг теста - поименованный подраздел тестового примера, построенный из тестовых событий и/или из других шагов теста.

3.6.12 Тестовое событие - неделимая единица спецификации теста на заданном уровне абстрагирования спецификации (например, передача или прием отдельного ПБД).

3.6.13 Неидентифицируемое тестовое событие - тестовое событие, используемое для обеспечения приема ПБД и/или АСП без их идентификации в тестовом примере.

Примечание - В КДТН неидентифицируемое тестовое событие представляет собой оператор "в противном случае".

3.6.14 Состояние тестирования - состояние, имеющее место во время тестирования, охватывающее комбинацию состояний ТС, тестирующую систему, протоколы, контроль и наблюдение которых определены в КАТ, и в соответствующих случаях - состояние нижерасположенной службы.

3.6.15 Устойчивое состояние тестирования - состояние тестирования, которое может быть обеспечено без предписанного поведения нижнего тестера, достаточно длительное для заполнения пробела между одним тестовым примером и следующим в тестовой кампании.

3.6.16 Холостое состояние тестирования - устойчивое состояние тестирования, в котором отсутствует установленное соединение соответствующего(их) протокола(ов) и в котором состояние ТС зависит от любого ранее выполненного тестового примера.

3.6.17 Промежуточное состояние тестирования - любое состояние тестирования, которое не является устойчивым состоянием тестирования.

Примечание - К промежуточным состояниям тестирования относятся состояния, находящиеся в середине процесса логического обмена ПБД (например, для установления соединения или выполнения согласования), в особенности, после того, как запрошенный ПБД передан (или принят), а соответствующий ответный ПБД еще не получен (или не передан).

3.6.18 Начальное состояние тестирования - состояние тестирования, при котором начинается выполнение тела теста.

Примечание - Это может быть либо устойчивое, либо промежуточное состояние тестирования.

3.6.19 Комплект тестов (аттестационный) - полный набор тестовых примеров, возможно, скомбинированный в гнездовые группы тестов, которые необходимы для выполнения динамического аттестационного тестирования одного или нескольких протоколов ВОС.

Примечание - Этот комплект должен охватывать как тестирование функциональных возможностей, так и тестирования поведения. Он может быть квалифицирован в зависимости от назначения: абстрактный, общий или выполнимый. Если не оговорено другое, предполагается комплект абстрактных тестов.

3.6.20 Тестовый пример - пример общего, абстрактного или выполнимого теста.

3.6.21 Группа тестов - поименованный набор взаимосвязанных тестовых примеров.

3.6.22 Комплект общих тестов - комплект тестов, составленный из общих тестовых примеров.

3.6.23 Комплект абстрактных тестов - комплект тестов, составленный из абстрактных тестовых примеров.

3.6.24 Комплект выполнимых тестов - комплект тестов, составленный из выполнимых тестовых примеров.

3.6.25 Комплект избранных абстрактных тестов - подмножество комплекта абстрактных тестов, выбранное с учетом конкретных ЗСРП и ДИРПТ.

3.6.26 Комплект избранных выполнимых тестов - подмножество комплекта выполнимых тестов, выбранное с использованием конкретных ЗСРП и ДИРПТ.

3.6.27 Параметризованный абстрактный тестовый пример - абстрактный тестовый пример, в котором всем соответствующим параметрам присвоены значения в соответствии с конкретными ЗСРП и ДИРПТ.

3.6.28 Параметризованный выполнимый тестовый пример - выполнимый тестовый пример, в котором всем соответствующим параметрам присвоены значения в соответствии с конкретными ЗСРП и ДИРПТ и который соответствует параметризованному абстрактному тестовому примеру.

3.6.29 Комплект параметризованных абстрактных тестов - комплект избранных абстрактных тестов, в котором все тестовые примеры параметризованы согласно соответствующим ЗСРП и ДИРПТ.

3.6.30 Комплект параметризованных выполнимых тестов - комплект выбранных выполнимых тестов, в котором все тестовые примеры параметризованы согласно соответствующим ЗСРП и ДИРПТ и соответствуют комплектам параметризованных абстрактных тестов.

3.6.31 Комплект стандартных абстрактных тестов - комплект абстрактных тестов, определенный в соответствующем стандарте или рекомендации МККТТ, либо (при отсутствии соответствующих стандартов или рекомендаций) - в общедоступном документе, который находится в процессе стандартизации в рамках ИСО/МЭК или МККТТ и который достиг наивысшей на данный момент стадии стандартизации и имеет, по меньшей мере, статус "проект комитета", "проект предложения" или "проект рекомендации".

3.6.32 Стандарт по аттестационному тестированию - соответствующий стандарт или рекомендация МККТТ, либо проект одного из этих документов, содержащий стандартный КАТ.

3.7 Терминология результатов

3.7.1 Повторяемость (результатов) - свойство тестового примера, состоящее в том, что его повторные выполнения на той же ТР при тех же условиях приводят к тому же вердикту с расширением свойств комплекта тестов.

3.7.2 Сравнимость (результатов) - характеристика процессов оценки соответствия, выполнение которых на той же ТР в различных функциональных средах тестирования приводит к одинаковой общей оценке соответствия для определенной ТР.

3.7.3 Результат тестирования (наблюдаемый) - последовательность событий тестирования в сочетании с соответствующими данными и/или значениями параметров, которые имеют место в процессе выполнения конкретного параметризованного выполнимого тестового примера

3.7.4 Предсказуемый результат тестирования - наблюдаемый результат тестирования, идентифицируемый в абстрактном тестовом примере.

Примечание - Предсказуемый результат тестирования может охватывать неидентифицируемое тестовое событие.

3.7.5 Непредсказуемый результат тестирования - наблюдаемый результат тестирования, неидентифицируемый в абстрактном тестовом примере.

Примечание - Непредсказуемый результат тестирования может привести только к ошибке тестового примера или ненормальному его завершению.

3.7.6 Вердикт (теста) - одно из заключений "прохождение", "безуспешность" или "незавершенность", указанное в абстрактном тестовом примере и касающееся соответствия ТР относительно выполненного тестового примера.

3.7.7 Отчет об аттестационном тестировании системы (ОАТС) - документ, составленный в конце процесса оценки соответствия, содержащий полные сведения о соответствии системы или реализации набора протоколов, относительно которых проводилось аттестационное тестирование.

3.7.8 Отчет об аттестационном тестировании протокола (ОАТП) - документ, составленный в конце процесса оценки соответствия, содержащий подробные сведения о тестировании конкретного протокола. Он содержит список всех абстрактных тестовых примеров и идентифицирует те из них, для которых были выполнены соответствующие выполнимые тестовые примеры, а также назначены вердикты каждому тестовому примеру.

3.7.9 Действительное тестовое событие - тестовое событие, допускаемое спецификацией протокола, которое является синтаксически и семантически правильным и которое происходит, когда это допускается спецификацией протокола.

3.7.10 Недействительное тестовое событие - тестовое событие, которое нарушает, по меньшей мере, одно из требований к соответствию данного протокола или спецификацию синтаксиса передачи.

Примечание - Это понятие не следует путать с понятием "недействительное событие", определенное в ИСО 7776.

3.7.11 Несвоевременное тестовое событие - тестовое событие, которое происходит в тот момент времени, когда оно не разрешено спецификацией протокола.

3.7.12 Синтаксически недействительное тестовое событие - тестовое событие, которое синтаксически не разрешено спецификацией протокола.

3.7.13 Семантически недействительное тестовое событие - тестовое событие, которое не является несвоевременным и семантически недействительным, но содержит семантическую ошибку относительно соответствующей спецификации протокола (например, ПБД, параметр которого имеет значение, выходящее за рамки согласованного для этого параметра диапазона).

3.7.14 Прохождение (вердикт) - вердикт теста, выдаваемый, когда наблюдаемый результат тестирования явно отвечает требованию(ям) к соответствию, в котором(ых) сфокусирована(ы) цель(и) тестирования тестового примера и является действительным с точки зрения рассматриваемого(ых) стандарта(ов) или рекомендации(ий) МККТТ.

3.7.15 Безуспешность (вердикт) - вердикт теста, выдаваемый, когда наблюдаемый результат тестирования либо проявляет несоответствие, по меньшей мере, одному из требований к соответствию, в котором(ых) сфокусирована(ы) цель(и) тестирования тестового примера, либо содержит, по меньшей мере, одно недействительное событие с точки зрения соответствующего(их) стандарта(ов) или рекомендации(ий) МККТТ.

3.7.16 Незавершенность (вердикт) - вердикт теста, выдаваемый, когда наблюдаемому результату события не может быть присвоен ни вердикт "прохождение", ни вердикт "безуспешность".

3.7.17 Ошибка тестового примера - понятие, используемое для описания результата выполнения тестового примера при обнаружении ошибки в самом тесте.

3.7.18 Ошибка абстрактного тестового примера - ошибка тестового примера, происходящая из ошибки абстрактного тестового примера.

3.7.19 Ошибка выполнимого тестового примера - ошибка тестового примера при реализации абстрактного тестового примера.

3.7.20 Ненормальное завершение (тестового примера) - понятие, используемое для описания результата выполнения абстрактного тестового примера, когда он преждевременно завершается тестирующей системой.

3.7.21 Регистрация соответствия - визуально читаемая запись информации, выработанная в результате тестовой кампании, которая достаточна для регистрации наблюдаемого тестового результата и которая подтверждает правильность результатов тестирования (включая вердикты теста).

3.8 Терминология методов тестирования

3.8.1 Пункт контроля и наблюдения (ПКН) - пункт функциональной среды тестирования, в котором должно контролироваться и наблюдаться появление тестового события в соответствии с методом абстрактного тестирования.

Примечание - ПКН характеризуется набором АСП и/или ПБД, которые могут иметь место согласно КАТ в данном ПКН.

3.8.2 Нижний тестер - представление средств в настоящем стандарте, обеспечивающих при выполнении теста косвенный контроль и наблюдение нижней сервисной границы ТР через нижерасположенного поставщика услуг.

Примечание - Нижерасположенный поставщик услуг расположен непосредственно под (самый нижний уровень) протоколом, который является объектом тестирования. Он может использовать один или несколько уровней ВОС, либо только физическую среду.

3.8.3 Верхний тестер - представление средств в стандарте, обеспечивающих при выполнении теста косвенный контроль и наблюдение верхней сервисной границы ТР в соответствии с определением выбранного метода абстрактного тестирования.

3.8.4 Абстрактный (N)-сервисный примитив ((N)-ACП) - независимое от реализации описание взаимосвязи между пользователем услуг и поставщиком услуг на (N)-сервисной границе в соответствии с определением услуг ВОС.

3.8.5 Процедуры согласования тестирования - правила взаимодействия между нижним и верхним тестерами в процессе тестирования.

3.8.6 Протокол административного управления тестированием - протокол, который используется в процедурах согласования тестирования для конкретного комплекта тестов.

3.8.7 Тестирующая система - реальная система, содержащая реализацию нижнего тестера.

Примечание - Одна и та же тестирующая система может использоваться как часть нескольких средств тестирования.

3.8.8 Метод локального тестирования - метод абстрактного тестирования, в котором нижний и верхний тестеры расположены внутри тестирующей системы и имеется ПКН, расположенный на верхней сервисной границе данной ТР.

3.8.9 Метод распределенного тестирования - метод абстрактного тестирования, в котором верхний тестер расположен внутри ТС и имеется ПКН, расположенный на верхней сервисной границе ТР.

3.8.10 Метод скоординированного тестирования - метод абстрактного тестирования, в котором верхний тестер расположен внутри ТС и для которого стандартный протокол административного управления тестированием определен как некоторая реализация процедур согласования тестирования, обеспечивающая контроль и наблюдение, задаваемые исключительно в понятиях активности нижнего тестера, включая контроль и наблюдение за административным управлением тестированием ТР.

3.8.11 Метод удаленного тестирования - метод абстрактного тестирования, в котором контроль и наблюдение тестовых событий определены исключительно в понятиях активности нижнего тестера и в котором некоторые требования к процедурам согласования тестов могут быть выражены в неявном или неформальном виде в комплекте абстрактных тестов, но без каких-либо предположений относительно их выполнимости или реализации.

3.8.12 Средства тестирования (ТР) - совокупность оборудования и процедур, способных осуществлять создание, выбор, параметризацию и выполнение тестовых примеров в соответствии с эталонным стандартным комплектом абстрактных тестов и вырабатывать регистрацию соответствия.

3.8.13 Реализация теста - процесс создания средств тестирования ТР.

3.8.14 Эталонный стандартный (ВОС) комплект абстрактных тестов - стандартный комплект абстрактных тестов, для которого реализованы средства тестирования.

3.8.15 Реализатор теста - организация, которая отвечает за обеспечение в форме, независимой от клиента испытательной лаборатории и их ТР, средств тестирования ТР в соответствии с комплектом абстрактных тестов.

3.8.16 Услуга исчерпывающего тестирования - услуга, предоставляемая испытательной лабораторией ее клиентам, по выполнению процесса оценки соответствия одному или нескольким протоколам ВОС с выбором методов тестирования, достаточных для создания услуги, применимой ко всем тем реальным открытым системам, которые претендуют на реализацию специфицированных протоколов.

4 Сокращения

В настоящем стандарте используются следующие сокращения:

АСП	абстрактный сервисный примитив
ВОС	взаимосвязь открытых систем
ВТ	верхний тестер
ДИРПТ	дополнительная информация о реализации протокола для тестирования
ЗСРП	заявка о соответствии реализации протоколу
ЗСС	заявка о соответствии системы
КАТ	комплект абстрактных тестов
КВАТ	комплект выбранных абстрактных тестов
КВВТ	комплект выбранных выполнимых тестов
КВТ	комплект выполнимых тестов
КДТН	комбинированная древовидная и табличная нотация
КПАТ	комплект параметризованных абстрактных тестов
КПВТ	комплект параметризованных выполнимых тестов
МАТ	метод абстрактного тестирования
НТ	нижний тестер
ОАТП	отчет об аттестационном тестировании протокола
ОАТС	отчет об аттестационном тестировании системы
ООД	оконечное оборудование данных
ПАУТ	протокол административного управления тестированием
ПБД	протокольный блок данных
ПДУ	пункт доступа к услугам
ПБД-АУТ	протокольный блок данных административного управления тестированием
ПКН	пункт контроля и наблюдения
СТ	средства тестирования
СЭП	сервисный элемент прикладного уровня
СЭУА	сервисный элемент управления ассоциацией
ТОВ	тест основной взаимосвязи
ТР	тестируемая реализация
ТС	тестируемая система
ЦСИО	цифровая сеть интегрального обслуживания

5 Смысл соответствия в ВОС

5.1 Введение

В контексте ВОС принято считать, что некоторая реальная система проявляет соответствие, если она удовлетворяет требованиям соответствующих стандартов или рекомендаций МККТТ по ВОС при обмене данными с другими реальными системами.

К соответствующим стандартам и рекомендациям МККТТ по ВОС относятся стандарты по протоколам и синтаксису передачи в той степени, в какой они реализованы в сочетании с протоколами.

Стандарты и рекомендации МККТТ по ВОС представляют собой набор взаимосвязанных стандартов и рекомендаций МККТТ, которые в совокупности определяют поведение открытых систем при взаимном обмене данными. Поэтому соответствие какой-либо реальной системы отражено на двух уровнях: соответствие каждому отдельному стандарту или рекомендации МККТТ и соответствие заданному набору таких стандартов.

Примечание - Если реализация основана на предварительно определенной совокупности стандартов или рекомендаций МККТТ, часто рассматриваемой как функциональный стандарт или профиль, то понятие соответствия может быть расширено для учета конкретных требований, выраженных в данном функциональном стандарте или профиле, до такой степени, в которой это понятие еще не противоречит требованиям базового стандарта или рекомендации МККТТ (по протоколу).

5.2 Требования к соответствию

5.2.1 Требования к соответствию, изложенные в каком-либо стандарте или рекомендации МККТТ, могут представлять собой:

а) обязательные требования; они должны выполняться во всех случаях;

b) условные требования; они должны выполняться при выполнении условий, заданных в данной спецификации;

с) факультативные возможности; они могут быть выбраны для использования в данной реализации при условии выполнимости любых требований, применимых к данной факультативной возможности. Более подробная информация о факультативных возможностях приведена в приложении А. Например, основные средства рекомендаций МККТТ относятся к обязательным требованиям, дополнительные средства могут относиться либо к условным требованиям, либо к факультативным возможностям.

Примечание - Термины МККТТ "основные средства" и "дополнительные средства" должны рассматриваться в контексте области применения рассматриваемой рекомендации МККТТ; например, в большинстве случаев основные средства являются обязательными для сетей, но не для ООД.

5.2.2 Помимо указанного, требования к соответствию, изложенные в каком-либо стандарте или рекомендации МККТТ, могут классифицироваться на:

а) положительные, устанавливающие то, что должно выполняться;

b) отрицательные, устанавливающие то, что не должно выполняться.

5.2.3 И, наконец, требования к соответствию могут быть подразделены на две группы:

а) требования к статическому соответствию;

b) требования к динамическому соответствию.

Обе эти группы требований рассмотрены в 5.3 и 5.4 соответственно.

5.3 Требования к статическому соответствию

Требования к статическому соответствию - это требования, которые налагают ограничения на комбинации реализуемых возможностей, допускаемых в реальных системах, соответствие которых международному стандарту или рекомендации МККТТ заявлено. Они определяют допустимые минимальные возможности некоторой реализации для обеспечения взаимодействия с ней. Эти требования могут устанавливаться на широком уровне, например, по отношению к группированию ПБД в функциональные блоки или в протокольные классы, либо на некотором уровне детализации, например, по отношению к некоторому диапазону значений, которые должны обеспечиваться для конкретных параметров или таймеров.

Требования к статическому соответствию в соответствующих стандартах и рекомендациях МККТТ по ВОС могут быть представлены в виде двух различных множеств:

а) требования, определяющие те функциональные возможности, которые должны быть включены в реализацию конкретного протокола;

b) требования, которые определяют зависимости между несколькими уровнями, например, требования, налагающие ограничения на функциональные возможности нижерасположенных уровней некоторой системы, в которой содержится реализация протокола. Они, по всей вероятности, должны рассматриваться в соответствующих стандартах или рекомендациях МККТТ по верхним уровням.

5.4 Требования к динамическому соответствию

Требования к динамическому соответствию представляют собой такие требования, которые определяют характеристики наблюдаемого поведения, допускаемые соответствующими стандартами или рекомендациями МККТТ по ВОС в течение сеансов обмена данными. Они образуют основную часть каждой спецификации по протоколам ВОС и определяют набор допустимых характеристик поведения некоторой реализации или реальной системы. Этот набор определяет в неявном виде максимум тех функциональных возможностей, которыми может обладать аттестуемая реализация или реальная система в понятиях стандарта по протоколам ВОС.

Система проявляет динамическое соответствие в течение некоторого сеанса обмена данными, если характеристики ее поведения являются членом множества всех характеристик поведения, допускаемых соответствующими спецификациями по протоколам ВОС в соответствии с ЗСРП.

Требования к динамическому соответствию - это такие требования, которые определяют фактический протокол: использование и форматы его ПБД, переходы состояний, правила согласования и т.п. Они обычно строятся в соответствии с основными возможностями (например, функциональными модулями), которые являются предметом основных требований к статическому соответствию.

5.5 Заявка о соответствии реализации протоколу (ЗСРП)

Для оценки соответствия некоторой конкретной реализации необходимо иметь документ о функциональных и факультативных возможностях данной реализации относительно соответствующего протокола с тем, чтобы эта реализация могла быть проверена на соответствие заданным требованиям и только этим требованиям. Такой документ называется "заявкой о соответствии реализации протоколу" (ЗСРП).

В ЗСРП должны быть различимы следующие категории информации, которую она может содержать:

a) информация, относящаяся к обязательным, факультативным и условным требованиям к статическому соответствию самого протокола;

b) информация, относящаяся к обязательным, факультативным и условным требованиям к статическому соответствию многоуровневых зависимостей.

Если в некоторой системе реализован набор взаимосвязанных стандартов по протоколам ВОС, то для каждого протокола необходима своя ЗСРП. Необходима также заявка о соответствии системы, обобщающая все протоколы этой системы, для каждого из которых составлена своя ЗСРП.

5.6 Аттестованная система

Аттестованной системой или реализацией считают ту, которая проявила соответствие как статическим, так и динамическим требованиям и соответствует характеристикам, установленным в ЗСРП для каждого протокола, заявленного в "заявке о соответствии системы".

5.7 Взаимодействие и соответствие

5.7.1 Основная цель аттестационного тестирования состоит в том, чтобы повысить вероятность взаимодействия различных реализаций.

5.7.2 Несмотря на то, что соответствие протокола является необходимым условием, но само по себе оно недостаточно для гарантированной возможности взаимодействия. Даже если две реализации соответствуют одному и тому же стандарту по протоколу ВОС, они могут оказаться неспособными к взаимодействию. Следовательно, необходимо провести испытание на взаимодействие.

5.7.3 Успешное взаимодействие двух или более реальных открытых систем будет обеспечено с более высокой вероятностью, если все они соответствуют одному и тому же подмножеству стандартов или рекомендаций МККТТ no BOC или одной и той же выборке этих документов, чем в противном случае.

Для подготовки двух или более систем к их успешному взаимодействию рекомендуется провести сравнение их "заявок о соответствии системы" и ЗСРП.

Если в ЗСРП указано, что реализовано более одной версии стандарта или рекомендации МККТТ по ВОС, должен быть указан характер различий между этими версиями и соображения по их взаимодействию.

5.7.4 Дальнейшая информация, необходимая для обеспечения взаимодействия двух систем, может быть получена путем сравнения ЗСРП с другой соответствующей информацией, включая отчеты о тестировании и ДИРПТ (см. 6.2). Это сравнение можно сфокусировать на:

a) дополнительных механизмах, заявленных для обработки известных неоднозначностей и недостатков, которые еще не скорректированы в соответствующих стандартах или в рекомендациях МККТТ или в других реальных системах, с которыми желательно взаимодействие, например, на решении многоуровневых проблем;

b) выбор факультативных возможностей, на которые не наложены ограничения требованиями соответствующих стандартов или рекомендаций МККТТ к статическому соответствию (т.е. в случаях, когда разработчик имеет свободный выбор, например, обеспечение тайм-аута неактивного состояния заданной длительности).

Примечание - Сравнение может производиться между двумя отдельными системами, между двумя или несколькими типами изделия или, что касается только сравнения ЗСРП, между двумя или несколькими спецификациями для поставки, разрешениями на соединение и т.д.

5.7.5 В приложении А к ГОСТ Р ИСО/МЭК 9646-5 установлена форма отчета по аттестационному тестированию, где в п. 1.5 определяется надлежащее предупреждение, устанавливающее пределы аттестационного тестирования относительно взаимодействия.

6 Соответствие и тестирование

6.1 Цели аттестационного тестирования

6.1.1 Введение

Рассматриваемое в настоящем стандарте аттестационное тестирование направлено на проверку соответствия стандартам и рекомендациям МККТТ по протоколам ВОС. Оно, однако, относится к проверке соответствия указанным стандартам и рекомендациям по синтаксису передачи ВОС с той степенью точности, которая может быть достигнута путем тестирования синтаксиса передачи в сочетании с каким-либо протоколом ВОС.

Вообще говоря, цель аттестационного тестирования состоит в том, чтобы определить, соответствует ли проверяемая реализация спецификации соответствующего стандарта или рекомендации МККТТ. Практические ограничения делают невозможной исчерпывающую проверку, а экономические соображения могут наложить дальнейшие ограничения.

Поэтому настоящий стандарт различает четыре типа тестирования соответственно той степени точности, с которой оно устанавливает соответствие:

a) тесты основной взаимосвязи, которые обеспечивают первоначальную очевидность соответствия ТР;

b) тесты функциональных возможностей, которые проверяют соответствие наблюдаемых функциональных возможностей данной ТР требованиям к статическому соответствию и функциональным возможностям, указанным в ЗСРП;

c) тесты поведения, назначение которых состоит в обеспечении настолько исчерпывающего тестирования, насколько это возможно по отношению ко всему диапазону требовании к динамическому соответствию, указанных в применимом стандарте или рекомендации МККТТ, в рамках функциональных возможностей ТР;

d) тесты разрешения соответствия, которые исследуют глубину соответствия некоторой ТР конкретным требованиям с целью обеспечения точного положительного или отрицательного ответа и диагностической информации, касающейся конкретных вопросов соответствия; такие тесты не подлежат стандартизации.

Примечание - В качестве побочного результата аттестационного тестирования могут быть идентифицированы ошибки и недостатки в спецификации по протоколам.

6.1.2 Тесты основной взаимосвязи

6.1.2.1 Тесты основной взаимосвязи обеспечивают ограниченное тестирование некоторой ТР относительно основных возможностей, указанных в спецификации протокола и/или синтаксиса передачи с целью установления соответствия, достаточного для возможной взаимосвязи, без попытки выполнения полного тестирования.

6.1.2.2 Тесты основной взаимосвязи пригодны:

a) для обнаружения серьезных случаев несоответствия;

b) в качестве предварительного шага, решающего, производить или нет выполнение тестов функциональных возможностей и поведения;

c) для проверки вопросов адресации и других вопросов, касающихся функциональной среды тестирования;

d) для использования пользователями реализаций с целью определения очевидной приемлемости этих реализаций для обмена данными с другими аттестованными реализациями, например, в качестве подготовительного мероприятия к обмену данными.

6.1.2.3 Тесты основной взаимосвязи непригодны:

a) для самостоятельного использования в качестве основы для заявки о соответствии со стороны поставщика реализации;

b) в качестве методов арбитража для определения причин безуспешности обмена данными.

6.1.2.4 Стандартные ТОВ всегда исходят из набора тестов функциональных возможностей и поведения, содержащих стандартный комплект абстрактных тестов и список тестов, которые факультативно могут быть включены. Введение для этой цели дополнительных тестов в стандартный КАТ может нарушить требования, установленные в ГОСТ Р ИСО/МЭК 9646-2.

6.1.3 Тесты функциональных возможностей

6.1.3.1 Тесты функциональных возможностей обеспечивают ограниченное тестирование каждого из требований к статическому соответствию, установленных в спецификации протокола или синтаксиса передачи с целью определения тех указанных в ЗСРП функциональных возможностей, которые могут быть выявлены и проверены на соответствие требованиям к статическому соответствию.

6.1.3.2 Тесты функциональных возможностей пригодны:

a) для проверки согласованности функциональной возможности данной ТР с требованиями к статическому соответствию;

b) для проверки, насколько это возможно, согласованности ЗСРП с соответствующей ТР;

c) при использовании в сочетании с тестами поведения в качестве основы для заявки о соответствии.

6.1.3.3 Тесты функциональных возможностей непригодны:

a) для самостоятельного использования в качестве основы для заявки о соответствии со стороны поставщика реализации;

b) для детального тестирования поведения ТР, связанного с каждой реализованной и нереализованной функциональной возможностью;

c) для разрешения проблем, возникающих в период времени существования ТР или в ситуациях, когда другие тесты указывают на возможность несоответствия, даже если тесты функциональных возможностей были успешно выполнены.

6.1.3.4 Тесты функциональных возможностей стандартизованы в рамках комплекта абстрактных тестов. Они могут выполняться либо в виде отдельной тестовой группы, либо вместе с тестами поведения.

6.1.4 Тесты поведения

6.1.4.1 Тесты поведения проверяют некоторую реализацию настолько полно, насколько это практически необходимо по всему диапазону требований к динамическому соответствию, заданных в спецификации протокола и/или синтаксиса передачи.

6.1.4.2 Тесты поведения применимы, когда они выполняются совместно с тестами функциональных возможностей в качестве основы для процесса оценки соответствия.

6.1.4.3 Тесты поведения неприменимы для разрешения проблем, возникающих во время срока службы или в ситуации, когда другие тесты указывают на возможность несоответствия, даже если тесты поведения прошли.

6.1.4.4 Стандартизация тестов поведения осуществляется как основная часть стандартизации комплекта абстрактных тестов.

6.1.4.5 К тестам поведения относятся такие тесты, которые предназначены для проверки действительного поведения ТР в ответ на действительное и недействительное поведение протокола, обнаруженное реальным тестером.

6.1.5 Тесты разрешения соответствия

6.1.5.1 Тесты разрешения соответствия - это нестандартные, возможно, специфичные для системы тесты, предназначенные для выполнения тех целей тестирования, для которых не определены стандартные абстрактные тестовые примеры. Они могут использоваться для дополнения стандартных тестов, используемых в процессе оценки соответствия, с тем, чтобы оценить поведение ТР относительно конкретных требований к соответствию.

6.1.5.2 Архитектура и методы тестирования должны обычно выбираться специально для проверяемых требований, и они необязательно должны быть вообще приемлемы для других требований. Они могут даже рассматриваться как неприемлемые для стандартизованных комплектов абстрактных тестов, например, привлекающих специфичные для реализации методы, использующие, к примеру, диагностические и отладочные средства конкретной операционной системы.

6.1.5.3 В частности, тесты разрешения соответствия могут содержать специфичные для ТС средства контроля за появлением внутренних событий и состояний (например, внутренне генерируемый сброс или состояние занятости) для тестирования тех аспектов протокола, которые не могут быть протестированы стандартными компонентами абстрактных тестов.

6.1.5.4 Тесты разрешения соответствия приемлемы для:

а) выполнения тех целей тестирования, которые идентифицированы в соответствующих стандартных целях тестирования, но для которых ни один из тестовых примеров не может быть включен в стандартный КАТ из-за ограничения в выборе методов тестирования или вследствие общей нестабильности требования к соответствию.

b) обеспечения положительного или отрицательного ответа в строго ограниченной и заранее заданной ситуаций (например, в процессе создания реализации для проверки корректности реализации конкретного средства или во время эксплуатации для исследования причины возникающих проблем);

c) анализа проблем, возникших при выполнении стандартного КАТ.

6.1.5.5 Тесты разрешения соответствия неприемлемы в качестве основы для оценки полного соответствия какой-либо реализации.

6.1.5.6 Тесты разрешения соответствия не подлежат стандартизации.

6.2 Дополнительная информация о реализации протокола для тестирования (ДИРПТ)

Для того, чтобы проверить реализацию протокола, испытательной лаборатории дополнительно к информации, представленной в ЗСРП, необходима информация, относящаяся к ТР и к ее тестовой функциональной среде. Эта "дополнительная информация о реализации протокола для тестирования" (ДИРПТ) должна обеспечиваться клиентом, поставляющим данную реализацию для тестирования, в результате заполнения формы ДИРПТ, представленной испытательной лабораторией.

ДИРПТ может содержать:

а) информацию о ТР, необходимую испытательной лаборатории для того, чтобы она смогла осуществить прогон соответствующего тестового комплекта на данной ТР (например, адресная информация, информация, относящаяся к реализации верхнего тестера внутри ТР и др.);

b) информацию, уже указанную в ЗСРП и нуждающуюся в уточнении (например, если в ЗСРП установлен диапазон значений конкретного параметра тайм-аута, в ДИРПТ может быть указано конкретное значение, которое может использоваться во всех соответствующих тестовых примерах, кроме тех, которые ориентированы на тестирование различных значений одного и того же параметра или таймера);

с) информацию, которая должна помочь в определении, какие характеристики указаны в ЗСРП как обеспеченные и тестируемые и какие являются нетестируемыми;

d) другие административные вопросы (например, идентификатор ТР, ссылка на соответствующую ЗСРП и др.).

ДИРПТ не должна противоречить соответствующей ЗСРП.

На каждый КАТ, подлежащий прогону на ТР, имеется одна ДИРПТ. Спецификатор комплекта абстрактных тестов, реализатор теста и испытательная лаборатория должны совместно участвовать в разработке формы ДИРПТ.

6.3 Общее описание процесса оценки соответствия

6.3.1 Процесс оценки соответствия - это законченный процесс выполнения всех действий аттестационного тестирования, необходимых для оценки соответствия реализации или системы одному или нескольким международным стандартам или рекомендациям МККТТ.

Процесс оценки соответствия охватывает три фазы:

a) подготовку к тестированию;

b) операции тестирования;

c) выработку отчета о тестировании.

6.3.2 Подготовка фазы тестирования включает в себя:

a) выработку заявки о соответствии системы, ЗСРП или ДИРПТ;

b) выбор метода абстрактного тестирования и КАТ на основе перечисленных документов;

c) подготовку КАТ и средств тестирования.

6.3.3 Операции тестирования содержат в себе:

a) просмотр статического соответствия путем анализа ЗСРП относительно соответствующих требований к статическому соответствию;

b) выбор и параметризацию теста на основе ЗСРП и ДИРПТ;

c) одну или несколько "тестовых кампаний".

Тестовая кампания - это процесс выполнения комплекта параметризованных выполнимых тестов (КПВТ), выработанных в результате выполнения шагов выбора и параметризации теста, и регистрация наблюдаемых последовательностей тестовых событий и любой другой соответствующей информации в журнале соответствия.

Тестовая кампания включает в себя использование такой конфигурации оборудования, которая обеспечивает протокольные обмены между ТС и тестирующей системой с контролем таких обменов со стороны тестирующей системы. Тестовая кампания охватывает следующие три типа тестов: основной взаимосвязи (факультативно), факультативных возможностей и поведения.

Примечание - Эти тесты не должны выполняться в отдельных тестовых группах.

Фаза операций тестирования завершается анализом результатов, и это приводит к фазе выработки отчета о тестировании. Эти действия рассматриваются в 6.5.

6.3.4 Приведенное выше общее описание процесса оценки соответствия проиллюстрировано на рисунке 1.

Рисунок 1 - Общая схема процесса оценки соответствия

Требования, предъявляемые к испытательной лаборатории и ее клиентам в процессе оценки соответствия, определены в ГОСТ Р ИСО/МЭК 9646-5.

6.4 Использование тестов основной взаимосвязи и функциональных возможностей в тестовой кампании

6.4.1 Если стандарт по аттестационному тестированию идентифицирует перечень тестов, которые должны использоваться в качестве ТОВ, то испытательная лаборатория может использовать их в качестве предварительного фильтра при проведении тестовой кампании. Это может быть решено путем соглашения между испытательной лабораторией и клиентом перед началом тестовой кампании.

6.4.2 Вопрос о том, выполняются ли тесты функциональных возможностей как отдельная тестовая группа или как часть тестов поведения, решается факультативно. Он может быть решен путем соглашения между испытательной лабораторией и клиентом перед началом тестовой кампании.

6.5 Анализ результатов

6.5.1 Результаты и вердикты тестирования

6.5.1.1 Наблюдаемые результаты представляют собой последовательность событий, возникающих в ходе выполнения тестового примера; они охватывают все входные и выходные события ТР в пунктах контроля и наблюдения.

6.5.1.2 Предсказуемый результат - результат, определяемый абстрактным тестовым примером, т.е. события, происходящие при выполнении тестового примера, согласуются с последовательностью событий тестирования, определенной в абстрактном тестовом примере. Предсказуемый результат тестирования может включать в себя неидентифицируемые тестовые события и всегда приводит к назначению вердикта тестовому примеру.

6.5.1.3 Вердикт теста может означать прохождение, безуспешность или незавершенность:

а) "прохождение" означает, что наблюдаемый результат тестирования дает доказательство соответствия аттестационному(ым) требованию(ям), в котором(ых) сфокусирована цель или цели тестирования и является действительным с точки зрения соответствующих стандартов и рекомендаций МККТТ.

b) "безуспешность" означает, что наблюдаемый результат тестирования либо показывает несоответствие относительно, по меньшей мере, одного из требований к соответствию, на котором сфокусированы цели тестирования данного тестового примера, либо имеет место, по меньшей мере, одно недействительное тестовое событие относительно соответствующих стандартов и рекомендаций МККТТ.

с) "незавершенность" означает, что наблюдаемый результат тестирования таков, что ему не могут быть назначены вердикты "прохождение" и "безуспешность".

6.5.1.4 Непредсказуемый результат тестирования - это такой результат, который не идентифицирован абстрактным тестовым примером (т.е. события, происходящие при выполнении тестового примера, не согласуются ни с одной из последовательностей событий тестирования, определенных в абстрактном тестовом примере).

Непредсказуемый результат тестирования всегда приводит к регистрации ошибки тестового примера или ненормального завершения данного тестового примера.

6.5.1.5 Ошибка тестового примера регистрируется при обнаружении ошибки либо в самом абстрактном тестовом примере (т.е. ошибка абстрактного тестового примера), либо в реализации (т.е. ошибка выполнимого тестового примера).

6.5.1.6 Ненормальное завершение тестового примера регистрируется, если выполнение тестового примера преждевременно завершается тестирующей системой по причинам, не связанным с ошибкой тестового примера.

6.5.1.7 Результаты выполнения соответствующих отдельных тестовых примеров должны регистрироваться в общем сводном перечне для данной ТР.

6.5.2 Отчет об аттестационном тестировании

Результаты аттестационного тестирования должны быть задокументированы в виде набора отчетов о тестировании на соответствие. Эти отчеты могут быть двух типов: "отчет об аттестационном тестировании системы" (ОАТС) и "отчет об аттестационном тестировании протокола" (ОАТП).

ОАТС, который должен составляться всегда, дает полные сведения о соответствии ТС, включая сводный перечень вердиктов, назначенных в процессе аттестационного тестирования. Форма ЗСРП приведена в ГОСТ Р ИСО/МЭК 9646-5.

В ОАТП, которые должны разрабатываться по одному на каждый протокол, проверяемый в ТС, документируются все результаты тестовых примеров со ссылками на журнал(ы) проверки соответствия, где фиксируются наблюдаемые результаты тестирования. ОАТП содержит также ссылки на все необходимые документы, относящиеся к прохождению процесса оценки соответствия для данного протокола.

Форма ОАТП приведена в ГОСТ Р ИСО/МЭК 9646-5. Порядок, в котором должны быть представлены тестовые примеры в ОАТП, определен в стандарте по аттестационному тестированию.

6.5.3 Повторяемость результатов

Для достижения цели доверительного аттестационного тестирования очевидно, что результат выполнения тестового примера на ТР не должен зависеть от времени его прогона. Практика показывает, что может оказаться невозможным осуществить прогон полного комплекта аттестационных тестов и наблюдать результаты, которые полностью идентичны полученным в другой ситуации.

Тем не менее, на уровне тестового примера очень важно, чтобы разработчики тестов и испытательные лаборатории прилагали усилия к минимизации вероятности того, чтобы тестовый пример имел различные результаты в различных ситуациях.

6.5.4 Сравнимость результатов

Стандартизация всех процедур, относящихся к аттестационному тестированию, должна приводить в результате к сопоставимым отчетам о тестировании относительно данной ТР независимо от того, проводилось ли тестирование поставщиком, пользователем или какой-либо испытательной организацией третьей стороны. Для достижения этого необходимо учесть большое число факторов, к наиболее важным из которых относятся следующие:

а) тщательное проектирование и недвусмысленная спецификация тестовых примеров для обеспечения необходимой гибкости и указания тех требований, которые должны быть удовлетворены, и способа назначения вердиктов;

b) тщательная спецификация средств тестирования, которые должны использоваться для прогона тестового комплекта; опять таки, эта спецификация должна обеспечивать необходимую гибкость и удовлетворять требованиям тестового комплекта, включая все процедуры согласования тестирования (при их наличии);

с) тщательная спецификация процедур, которых должны придерживаться испытательные лаборатории относительно повторения тестового примера до регистрации вердикта, назначенного данному тестовому примеру;

d) форма отчета о результате аттестационного тестирования;

е) тщательная спецификация процедур, необходимых при просмотре результатов и подготовке отчетов тестирования;

6.5.5 Наглядность результатов

Может оказаться необходимым просмотреть наблюдаемые результаты выполнения комплекта аттестационных тестов, чтобы убедиться в корректности выполнения всех процедур. Независимо от того, в каком режиме производился анализ - ручном или автоматическом, важно, чтобы все входные, выходные и другие тестовые события были аккуратно зарегистрированы для каждого выполненного тестового примера. На испытательной лаборатории лежит ответственность сохранения такого объема информации, который достаточен для разработки аттестационного журнала в каждой тестовой кампании с целью последующих ссылок на него,

7 Методы тестирования

7.1 Введение

Реальные системы могут быть представлены в разнообразных конфигурациях, а методы контроля и наблюдения их поведения во время тестирования могут изменяться. Поэтому диапазон методов тестирования определен так, чтобы он соответствовал диапазону возможностей контроля и наблюдения ТС.

В данном разделе, прежде всего, охарактеризованы те свойства ТС, которые должны учитываться, затем определены возможные методы тестирования в абстрактном выражении и, наконец, приведено руководство по их применимости к реальным системам.

7.2 Классификация реальных открытых систем и тестируемых реализаций, подлежащих аттестационному тестированию

7.2.1 Классификация тестируемых систем

7.2.1.1 Существует взаимосвязь между методами тестирования и конфигурациями тестируемых реальных открытых систем. Соответствующие методы тестирования изменяются в зависимости от:

a) основной функции системы (оконечная система или ретрансляционная система);

b) уровней, использующих протоколы ВОС;

c) доступности альтернативных протоколов не-Вос.

7.2.1.2 Для целей аттестационного тестирования определены конфигурации систем, перечисленные ниже и показанные на рисунках 2 - 4. Конфигурации 1 - 3 являются основными конфигурациями тестируемых систем (ТС):

a) конфигурация 1 - 7-уровневая открытая система (оконечная-система).

Такие системы используют стандартные протоколы ВОС для всех 7 уровней;

b) конфигурации 2 - частичная (N)-открытая система (оконечная система).

Такие системы используют стандартные протоколы ВОС уровней 1-N;

c) конфигурация 3 - открытые ретрансляционные системы.

Эти системы используют протоколы ВОС уровней 1 - 3 (ретрансляционные-системы на сетевом уровне) или 1 - 7 (ретрансляционные-системы на прикладном уровне).

7.2.1.3 Остальные конфигурации могут быть образованы из основных конфигураций.

ТС может представлять собой комбинацию основных конфигураций 1 и 2, допуская альтернативное использование протоколов ВОС и не-ВОС выше уровня N (см. рисунок 5).

Рисунок 2
Конфигурация 1
7-уровневая открытая система

Рисунок 3
Конфигурация 2
Часть открытой (N)-системы

Рисунок 4
Конфигурация 3
Открытая ретрансляционная система

Рисунок 5 - Комбинация 7-уровневой и части открытой (N)-системы

7.2.2 Идентификация тестируемой реализации

Тестируемая реализация является частью реальной открытой системы, которая должна быть исследована методом аттестационного тестирования. Она должна представлять собой некоторую реализацию одного или нескольких протоколов ВОС одного и того же или смежных уровней.

Тестируемые реализации могут быть определены для конфигураций 1 и 2 тестируемых систем как одноуровневые ТР (один отдельный уровень ТС подлежит тестированию) или как многоуровневые ТР (совокупность любого числа протокольных реализаций ТС подлежит тестированию).

ТР, определенная в открытой ретрансляционной-системе, должна содержать уровень, который обеспечивает, по меньшей мере, функцию ретрансляции.

Когда в системе реализованы протоколы ВОС и не-ВОС, ТР должны быть определены для режима(ов) работы ВОС. Тестирование протоколов не-ВОС не входит в предмет рассмотрения настоящего стандарта.

Клиенты и испытательные лаборатории должны согласовывать между собой ту часть ТС, которая будет рассматриваться в качестве ТР.

7.3 Методология абстрактного тестирования

7.3.1 Общие положения

Методы тестирования должны ссылаться на методологию абстрактного тестирования, основанную на эталонной модели ВОС. Для оконечных систем (7-уровневых или частичных (N)-открытых систем) и одноуровневых ТР в рамках этих систем методы абстрактного тестирования описаны в понятиях наблюдаемых выходов ТР и контролируемых входов в нее. Точнее говоря, метод абстрактного тестирования описан путем идентификации пунктов, ближайших к ТР, в которых должны осуществляться контроль и наблюдение.

Соответствующие стандарты и рекомендации МККТТ по протоколам ВОС определяют допустимое поведение протокольного логического объекта (т.е. требования к динамическому соответствию) в понятиях протокольных блоков данных и абстрактных сервисных примитивов, расположенных выше и ниже этого логического объекта. Тем самым определяется поведение некоторых (N)-АСП и (N-1)-АСП (последние содержат (N)-ПБД).

Если ТР содержит несколько протокольных логических объектов, требуемое поведение может быть определено в понятиях АСП, расположенных выше или ниже ТР, включая ПБД протоколов в данной ТР.

Исходным пунктом разработки абстрактных методов тестирования является концептуальная архитектура тестирования, приведенная на рисунке 6. Архитектура активного тестирования представляет собой "черный ящик" и основана на определении поведения, задаваемого ТР.

7.3.2 Пункты контроля и наблюдения

Действия концептуального тестера, показанного на рисунке 6, охватывают два набора взаимодействий: выше или ниже ТР. Теоретически они могут контролироваться и наблюдаться из нескольких различных пунктов.

Возможные пункты контроля и наблюдения идентифицируются в зависимости от трех факторов:

a) сервисной границы внутри модели ВОС, на которой они могут наблюдаться и контролироваться;

b) набора тестовых событий (АСП и ПБД), которые контролируются и наблюдаются в этом пункте;

c) места их контроля и наблюдения: внутри тестируемой системы или в тестирующей системе.

ГАРАНТ:

Нумерация пунктов приводится в соответствии с источником

7.3.2.3 Возможные ПКН показаны на рисунке 7. Из этого чертежа можно видеть, что на различных уровнях существует множество возможных ПКН, которые обеспечивают различные степени контроля и наблюдения поведения ТР. В настоящем стандарте определяется выбор из этого набора возможных ПКН и определяется использование в стандартных КАТ ограниченного числа методов абстрактного тестирования с использованием этих ПКН.

7.3.2.4 Если контроль и наблюдение определены в понятиях АСП, данная ТР должна осуществлять контроль и наблюдение ПБД, передаваемых с этими АСП; однако, если контроль и наблюдение определены только в понятиях ПБД (на уровне N), то нижерасположенные АСП (на уровне N-1) не рассматриваются как контролируемые или наблюдаемые.

7.3.2.5 ПКН может быть промоделирован в виде двух очередей:

a) одна выходная очередь для контроля тестовых событий, направляемых в ТР, и

b) одна входная очередь для наблюдения тестовых событий, поступающих из ТР.

7.3.2.6 Активность АСП ниже ТР может наблюдаться и контролироваться равноправной активностью в системе тестирования посредством нижерасположенного поставщика услуг. Предполагается, что нижерасположенные услуги достаточно надежны для дистанционного контроля и наблюдения.

Возможно, что активность АСП выше ТР может оказаться неконтролируемой и ненаблюдаемой, в случае чего говорят о скрытой активности.

7.3.2.7 Тестируемым системам не требуется обеспечивать доступ к границам услуг. Однако, возможность обеспечения такого доступа и возможные позиции таких границ по отношению к протоколу ТР должны учитываться при определении методов абстрактного тестирования, которые могут воспользоваться преимуществом такого доступа для определения комплектов абстрактных тестов в понятиях взаимодействующих АСП. При этом не имеет значения, как осуществляется доступ к границам: через пункты доступа к услугам или через некоторые другие ПКН.

Рисунок 6 - Концептуальная архитектура тестирования

Рисунок 7 - Возможные ПКН при тестировании

7.4 Функции абстрактного тестирования

При определении методов абстрактного тестирования используются две функции абстрактного тестирования, называемые нижним и верхним тестерами.

Нижний тестер - это абстрактное представление в настоящем стандарте средств, обеспечивающих в процессе выполнения теста косвенный контроль и наблюдение нижней сервисной границы ТР через нижерасположенного поставщика услуг. Как показано на рисунке 7, нижерасположенный поставщик услуг находится под (самый нижний уровень) протоколом, который является фокусом тестирования. Он может использовать один или несколько уровней ВОС либо только физическую среду.

Верхний тестер - это абстрактное представление в настоящем стандарте средств, обеспечивающих в процессе выполнения теста контроль и наблюдение верхней сервисной границы ТР в соответствии с определением выбранного метода абстрактного тестирования. Существует необходимость во взаимодействии верхнего и нижнего тестеров; правила такого взаимодействия называются "процедурами скоординированного тестирования".

В различных методах абстрактного тестирования комплекты абстрактных типов могут быть различными с точки зрения требований к процедурам скоординированного тестирования, В некоторых случаях можно определить протокол административного управления тестированием с целью координации действий верхнего и нижнего тестеров. В других случаях невозможно определить те механизмы, которые можно использовать для процедур скоординированного тестирования, а можно лишь описать требования, предъявляемые к этим процедурам.

7.5 Общее описание методов абстрактного тестирования

7.5.1 ТР оконечных-систем

Для ТР, определенных внутри ТС оконечных-систем (конфигурации 1, 2 на рисунках 2, 3), определены четыре типа методов абстрактного тестирования: два из них используют ПКН между верхним тестером и ТР (локальный и распределенный методы тестирования) и два - только один ПКН под нижним тестером (методы скоординированного и удаленного тестирования).

Все методы тестирования используют контроль и наблюдение АСП ниже ТР и ПБД, обмениваемых с ТР, средствами нижнего тестера, отделенного от ТС, возможно, в сочетании с контролем и наблюдением АСП выше ТР.

7.5.2 Методы локального и распределенного тестирования

В обоих методах тестирования - локального и распределенного - имеется по два ПКН: один расположен под нижним тестером, другой - на верхней сервисной границе ТР.

В методе локального тестирования верхний тестер расположен внутри тестирующей системы, тогда как в методе распределенного тестирования он расположен внутри ТС.

Метод локального тестирования требует, чтобы верхняя сервисная граница ТР была представлена стандартным аппаратным интерфейсом; метод распределенного тестирования требует, чтобы она была представлена либо интерфейсом с пользователем, либо интерфейсом со стандартным языком программирования. В обоих методах необходим доступ к этому интерфейсу для целей тестирования.

В методе локального тестирования процедуры согласования тестирования реализованы полностью в тестирующей системе. В обоих методах определены требования к процедурам согласования тестирования, но не сами процедуры.

Эти методы тестирования показаны на рисунках 8а, b.

ПСТ - процедуры согласования тестирования

Рисунок 8 - Общая схема методов абстрактного тестирования

7.5.3 Методы скоординированного и удаленного тестирования

В обоих методах тестирования - скоординированном и удаленном - имеется только один ПКН, расположенный под нижним тестером. Ни один из этих методов не требует доступа к верхней сервисной границе ТР.

В методе скоординированного тестирования процедуры согласования тестирования реализованы посредством стандартных протоколов административного управления тестированием. Верхний тестер представляет собой реализацию соответствующего ПАУТ. Этот метод показан на рисунке 8с.

В методе удаленного тестирования могут быть представлены в неявном виде или неформально выражены некоторые требования в КАТ, но никаких предположений относительно их возможностей или реализации не делается. Верхнего тестера как такового не существует, однако некоторые его функции могут быть выполнены ТС. Этот метод показан на рисунке 8d, где пунктирные линии показывают, что в КАТ описан только требуемый результат процедур согласования тестов.

7.5.4 Варианты методов тестирования оконечных-систем

Каждая категория методов тестирования имеет свои внутренние варианты, которые могут быть использованы в многоуровневых ТР.

Методы абстрактного тестирования для оконечных систем полностью определены в разделе 8 ГОСТ Р ИСО/МЭК 9646-2, включая в необходимых случаях встроенный вариант.

7.5.5 ТР ретрансляционных-систем

Для открытых ретрансляционных систем определены два метода тестирования: шлейфовое и поперечное. Эти методы полностью определены в разделе 8 ГОСТ Р ИСО/МЭК 9646-2.

7.6 Применимость методов тестирования к реальным открытым системам

Архитектура и стадия разработки реальной открытой системы определяют применимость к ней методов тестирования.

Методы локального тестирования применимы для тестирования только тех ТС, которые имеют два аппаратных интерфейса (т.е. приемопередатчики).

Методы распределенного тестирования применимы для тестирования только тех ТР, которые имеют верхний интерфейс, доступный либо для пользователя, либо для программного верхнего тестера со стандартным интерфейсом языка программирования.

Методы скоординированного тестирования применяют, где это возможно, для реализации стандартного протокола административного управления тестированием в верхнем тестере в ТС, расположенной выше ТР.

Методы удаленного тестирования применяют, где это возможно, для использования некоторых функций ТС с целью контроля ТР в процессе тестирования вместо использования конкретного верхнего тестера.

Методы одноуровневого тестирования наилучшим образом подходят для тестирования большинства требований к соответствию протоколам.

Методы внутреннего тестирования допускают применение одноуровневого тестирования для всех протоколов многопротокольной ТР.

Для 7-уровневых открытых систем предпочтительным методом является нарастающее использование соответствующих методов внутреннего одноуровневого тестирования со следующими ПКН:

а) верхний интерфейс прикладного уровня, обеспечиваемый 7-уровневой открытой системой в применимых случаях;

b) последовательно, каждый ПДУ (или соответствующий ПКН, если ПДУ, как таковой, не предусмотрен) ниже того протокола, который является основным объектом тестирования, контролируемый и наблюдаемый в нижнем тестере, начиная от протокола самого нижнего уровня ТР и продвигаясь вверх.

7.7 Применимость методов тестирования к протоколам и уровням ВОС

В приложении В к настоящему стандарту содержится руководство по применимости методов тестирования к конкретным протоколам и уровням.

8 Тестовые комплекты

8.1 Структура

Тестовые комплекты имеют иерархическую структуру (см. рисунок 9), в которой важным уровнем является тестовый пример. Каждый тестовый пример имеет одну цель тестирования, которая состоит в верификации того, что ТР обладает некоторой заданной способностью (например, способностью обеспечивать определенные размеры пакетов) или проявляет некоторое заданное поведение (например, ведет себя должным образом при появлении конкретного события в определенном состоянии).

Внутри тестового комплекта используют гнездовые тестовые группы для обеспечения логического упорядочения тестовых примеров. Тестовые группы могут гнездоваться до произвольной глубины. Они могут использоваться для содействия планированию, разработке, пониманию или выполнению тестового комплекта.

С каждой тестовой группой может быть связана цель тестовой группы. При наличии таких целей для данной тестовой группы формируется полная цель тестовой группы путем сцепления данной цели данной тестовой группы с целями любых тестовых групп более высокого уровня, содержащих данную тестовую группу. Подобным образом формируются полные цели тестирования путем сцепления соответствующей полной цели тестовой группы с отдельными целями тестирования.

Рисунок 9 - Структура тестового комплекта

Тестовые примеры разделены на модули путем использования поименованных подразделов, называемых тестовыми шагами.

По практическим соображениям общие тестовые шаги могут быть сгруппированы в библиотеки тестовых шагов (аналогично библиотекам подпрограмм или процедур в языках программирования). Эти библиотеки могут быть организованы в гнездующиеся наборы тестовых шагов до любой глубины гнездования. Библиотеки тестовых шагов могут быть связаны с целым тестовым комплектом или с конкретной тестовой группой.

Тестовые события - это невидимые единицы спецификации в пределах тестового шага (например, передача отдельного ПБД или АСП в ТР или из ТР). Все тестовые шаги определены в виде упорядоченных тестовых событий или других (более мелких) тестовых шагов. Поэтому все тестовые шаги эквивалентны некоторому упорядоченному набору тестовых событий.

8.2 Абстрактные и выполнимые тестовые примеры

8.2.1 Абстрактный тестовый пример образуется из цели тестирования (или комбинации целей тестирования в зависимости от того, что указано разработчиком тестового комплекта и в соответствующих стандартах и рекомендациях МККТТ). Он выполняет следующее:

a) определяет все последовательности предвидимых тестовых событий, необходимых для достижения цели тестирования; эти тестовые события образуют тело теста;

b) определяет, что если начальное тестовое состояние, требуемое телом теста, не является запрашиваемым начальным устойчивым состоянием примера, то, по меньшей мере, одна из последовательностей тестовых событий вводит ТР в начальное состояние тестирования для данного тела теста; эти тестовые события образуют преамбулу теста;

c) определяет, что если тело теста может закончиться без возврата ТР в требуемое начальное устойчивое состояние, то, по меньшей мере, одна из последовательностей тестовых событий вводит ТР это состояние; эти тестовые события образуют постамбулу теста;

d) использует отдельный метод абстрактного тестирования в спецификации всех последовательностей тестовых событий;

e) использует стандартную тестовую нотацию для спецификации всех последовательностей тестовых событий;

f) может быть сконструирован из тестовых шагов, каждый из которых представляет собой набор последовательностей тестовых событий;

g) определяет, какой вердикт должен быть назначен каждой возможной последовательности тестовых событий, образующих законченный маршрут через эти тестовые примеры.

8.2.2 Преамбула и постамбула теста могут определяться различными, способами в зависимости от степени контроля и наблюдения, обеспечиваемого используемым методом тестирования, либо от набора различных возможных устойчивых состояний тестирования, из которых может стартовать образованный абстрактный тестовый пример и в которых он может заканчиваться. Эти абстрактные тестовые примеры представляют собой различные способы достижения одной и той же цели тестирования.

8.2.3 Выполнимый тестовый пример получается из абстрактного тестового примера и имеет форму, которая допускает его выполнение совместно тестирующей системой и ТС.

8.2.4 Термины "абстрактный" и "выполнимый" используют для описания тестовых комплектов, которые содержат, соответственно, абстрактные и выполнимые тестовые примеры.

9 Взаимосвязи между концепциями и ролями

На рисунке 10 графически изображены соотношения между различными частями настоящего стандарта, и процессами составления абстрактных и выполнимых тестовых комплектов и отчетов о тестировании.

ГОСТ Р ИСО/МЭК 9646-2 касается разработки спецификаций по тестируемым протоколам и стандартов по аттестационному тестированию. В ИСО/МЭК 9646-3 определяется стандартная тестовая нотация для спецификации КАТ. В ГОСТ Р ИСО/МЭК 9646-4 рассматривается реализация средств тестирования. ГОСТ Р ИСО/МЭК 9646-5 определяет роли испытательной лаборатории и клиентов в процессе оценки соответствия, который является кульминационным в разработке отчета по тестированию. В настоящем стандарте рассматриваются общие концепции и определения, которые служат основой для остальных частей.

10 Согласованность

В настоящем стандарте термин "согласованность" означает соответствие требованиям, установленным в одной или нескольких его частях. Это слово используют при попытке устранения путаницы между согласованностью с одной или несколькими частями настоящего стандарта и соответствием протокольной реализации международным стандартам или рекомендациям МККТТ, определяющих протоколы.

ГОСТы Р ИСО/МЭК 9646-2 - ИСО/МЭК 9646-5 содержат требования к согласованности в соответствии с различными адресованными активностями. При выполнении этих требований будут достигнуты цели аттестационного тестирования в соответствии с введением к настоящему стандарту. Настоящий стандарт не содержит требований к согласованности.

Методология аттестационного тестирования
Общие принципы
(Часть I)

Рисунок 10 - Взаимоотношения между частями стандарта, концепциями и активностями

_____________________________

* До прямого применения данного документа в качестве государственного стандарта распространение его осуществляет секретариат ТК 22 "Информационная технология".