Приложение А (справочное). Дополнительные руководящие материалы по реализации тестов

Приложение А
(справочное)

Дополнительные руководящие материалы по реализации тестов

А.1 Дополнительные руководящие материалы по СТ

A.1.1 Введение

В данном приложении содержатся руководящие материалы о способах реализации в ТС трех абстрактных функций тестирования, определенных в 7.4 ГОСТ Р ИСО/МЭК 9646-1, а именно: нижнего тестера, верхнего тестера и процедур скоординированного тестирования.

Примечание - Тестирующая система должна обладать способностью адаптироваться к различным СТ.

А.1.2 Реализация нижнего тестера

Для каждого метода абстрактного тестирования, определенного в ГОСТ Р ИСО/МЭК 9646-2, основным объектом для координации и контроля тестирования является нижний тестер. Функции нижнего тестера состоят и том, чтобы

a) прогонять выполнимые тестовые примеры, которые образуются из абстрактных тестовых примеров;

b) вырабатывать индикации вердиктов в соответствии с эталонным стандартным КАТ;

c) контролировать и наблюдать тестовые события, которые входят в абстрактный тестовый пример (к этим событиям относятся генерация и прием ПБД, абстрактные сервисные примитивы, генерация и прием ПБД административного управления тестированием, события, относящиеся к процедурам скоординированного тестирования).

Нижний тестер представляет собой часть независимой реальной системы, рассматриваемой как тестирующая система. Как данная тестирующая система, так и ТС обеспечивают нижерасположенные услуги ниже самого нижнего уровня протоколов в ТР.

ГАРАНТ:

Нумерация приводится в соответствии с источником

А.1.2.2 Логические объекты ВОС в нижнем тестере могут назначаться различными способами, например:

a) кодер / декодер - просто кодирует АСП и ПБД в соответствии с потребностями прогоняемого теста, не являясь реализацией рассматриваемого протокола;

b) расширенная реализация - реализация рассматриваемого протокола, смодифицированная добавлением генератора ошибок, модуля конфигураций или другого подобного устройства для того, чтобы можно было гарантировать, что недействительные или необычные АСП или ПБД будут генерироваться в соответствии с потребностями прогоняемого тестового примера.

А.1.3 Реализация верхнего тестера

СТ обеспечивают реализацию или спецификацию функций верхнего тестера в соответствии с методом абстрактного тестирования, используемым в эталонном стандартном КАТ.

Верхний тестер может принимать различные формы, например:

a) программная реализация (которая может быть, но не обязательно, независимой от построения ТС или ТР), содержащаяся в ТС над ТР, с регионом преобразований, который сопрягается с локальной реализацией АСП;

b) человек-оператор - функции верхнего тестера выполняет физическое лицо, имеющее доступ к интерфейсу с пользователем, который отображается на сервисную границу ТР, имеет доступ к реализации соответствующих АСП и манипулирует ими;

с) концептуальный верхний тестер, т.е. для реализации функций верхнего тестера используются верхние уровни ТС без использования каких-либо дополнительных механизмов (этот вид верхнего тестера может использоваться только для реализации метода удаленного абстрактного тестирования).

А.1.4 Реализация процедур скоординированного тестирования

Существует множество способов взаимодействия нижнего и верхнего тестера, например, с синхронизацией или без, с использованием канала обмена данными дополнительно к каналу, используемому между нижним тестером и ТР или без такового, и др.

Можно идентифицировать несколько общих типов реализации:

a) человек-оператор - функции верхнего тестера выполняет физическое лицо, имеющее доступ к интерфейсу с пользователем, который отображается на сервисную границу ТР; этот оператор осуществляет синхронизацию работы нижнего тестера, ход которой может быть обнаружен различными средствами, например, наборам пробных сообщений от интерфейса пользователя нижнего тестера;

b) интерпретатор сценария - верхний тестер реализуется удаленным интерпретатором сценария; он воспринимает его инструкции из генерируемых файлов в сочетании с установкой нижнего тестера и с регионом преобразований между ним и сервисной границей ТР;

c) протокол административного управления тестированием - верхний тестер синхронизирован с нижним тестером с помощью протокола административного управления тестированием, который использует услуги, предоставляемые ТР и нижерасположенными уровнями, а также соответствующие функции нижнего тестера.

А.2 Дополнительные руководящие материалы по процессу создания КВТ

А.2.1 Общее описание

Процесс создания может происходить в следующих случаях:

a) во время реализации теста;

b) во время установки СТ испытательной лабораторией;

c) на стадии подготовки теста, чередующейся с процессами выбора и параметризации, для конкретной ТР;

d) во время операций тестирования в результате интерпретации или компиляции эталонного КАТ.

На рисунке А.1 показаны различные возможности комбинирования процессов создания, выбора, параметризации и выполнения теста, которые описаны в разделе 5 и требования к которым описаны в разделе 6.

А.2.2 Исходные данные к процессу создания тестов

Исполнитель теста должен рассмотреть следующие исходные данные:

a) эталонный стандартный КАТ для конкретного протокола ВОС, основанный на конкретном методе абстрактного тестирования и содержащий спецификацию процедур скоординированного тестирования;

b) форма ЗСРП для протокола ВОС;

c) неполная форма ДИРПТ, обычно прилагаемая к эталонному стандартному КАТ.

А.2.3 Обслуживание КВТ

Как только возможность выполнения КПВТ будет реализована в СТ и СТ начнут использоваться, к исполнителю теста могут поступать из испытательной лаборатории отчеты о возникающих проблемах. Проблемы могут возникать с процедурами выполнения или относительно соответствия эталонному стандартному КАТ. В таких ситуациях исполнитель теста должен обеспечивать соответствующие коррекции.

Исполнитель теста должен также обеспечивать обновление СТ при каждом обновленки эталонного стандартного КАТ.

Рисунок А.1 Процесс создания/выполнения ПКВТ

А.3 Дополнительные руководящие материалы по журналу соответствия

Для выработки журнала соответствия необходимо следующее:

a) регистрировать фактические текущие события в последовательности их появления в процессе выполнения КПВТ;

b) анализировать эту информацию относительно соответствующих выбранных и параметризованных тестовых примеров, преобразуя фактические тестовые события в абстрактные тестовые события и регистрируя всю другую необходимую информацию.

Требования предъявляются только к информации, подлежащей записи в журнал соответствия, и к способу ее представления.

Анализ упорядоченного перечня фактических тестовых событий может быть встроен в каждый тестовый пример и выполняться после выполнения последнего либо он может выполняться как отдельный процесс после выполнения КПВТ либо он может быть выполнен некоторым сочетанием этих методов. Способы выполнения этого анализа и времена его выполнения относительно времен выполнения КПВТ не стандартизованы.

Как определено в 6.4, СТ должны обладать способностью вырабатывать журнал соответствия на бумажном носителе. Рекомендуется также предусмотреть машинно-читаемый журнал соответствия эквивалентного содержания.

Процесс создания журнала соответствия можно концептуально показать на примере рисунка А.2.

Рисунок А.2 - Создание журнала соответствия

Примечание - Необходимо, чтобы испытательная лаборатория сохраняла, как минимум, либо упорядоченный перечень фактических событий тестирования, либо машинно-читаемую версию журнала соответствия.

А.4 Дополнительные руководящие материалы по документации

А.4.1 Введение

Помимо соблюдения требований, определенных в 6.4 и 6.5, рекомендуется подготовить следующие документы:

a) информацию о тестирующей системе;

b) описание СТ;

c) информацию о клиенте испытательной лаборатории;

d) рабочие инструкции испытательной лаборатории.

А.4.2 Документ "Информация о тестирующей системе"

СТ приспособлены к конкретной тестирующей системе. Этот документ должен содержать следующую информацию, относящуюся к данной тестирующей системе:

а) оборудование (тестирующей системы);

b) наименование и номер версии операционной системы (тестирующей системы);

c) наименование и номер версии нижнего тестера;

d) наименование и номер версии верхнего тестера (при его наличии);

e) оборудование и/или процедуры, необходимые для связи нижнего тестера с ТР для целей тестирования (т.е. (N-1)-услуга);

f) оборудование и/или процедуры, необходимые для связи верхнего тестера (при его наличии) с ТР для целей тестирования;

g) наименование, место расположения и контактная информация организации, отвечающей за обслуживание СТ и КАТ и выдачу консультаций по ним.

А.4.3 Документ "Описание средств тестирования"

Этот документ должен содержать описание следующих аспектов СТ, относящихся к эталонному стандартному КАТ:

a) нижний тестер: описание нотации выполнимого тестирования и ее преобразование в нотацию абстрактного тестирования (например, в КДТН). Описание способов контроля, наблюдения и хранения АСП и демонстрация того, что выбранный метод реализует правила упорядочения, низводящие к абстрактным тестовым примерам;

b) верхний тестер: описание способов контроля, наблюдения и хранения АСП (за исключением метода удаленного тестирования), показывающие степень соблюдения требований к функциям верхнего тестера;

c) координация тестирования описание преобразования процедур скоординированного тестирования: в их реализацию; требования к ним определены в эталонном стандартном КАТ;

d) процесс выбора: описание использования ЗСРП и ДИРПТ при выборе абстрактных тестовых примеров, пригодных для тестирования ТР;

e) процесс параметризации: описание использования ЗСРП и ДИРПТ в параметризованных выполнимых тестовых примерах при тестировании ТР;

f) средства выработки журнала соответствия.

А.4.4 Документ "Информация для клиента испытательной лаборатории"

В этом документе исполнитель теста должен обеспечить следующую информацию, позволяющую испытательной лаборатории информировать клиента о степени готовности ТС для тестирования:

a) верхний тестер: если этот компонент предусмотрен - это описание способа отображения его интерфейса на соответствующую реализацию сервисной границы, любые предположения о реализации определения услуг, либо о функциональных возможностях или ресурсах, доступных в ТС; если же верхний тестер не предусмотрен, то это описание того, каким образом следует охватить его реализацию; такое описание содержит протокол административного управления тестированием, при его наличии;

b) координатор тестирования: что должен делать клиент для реализации процедур скоординированного тестирования - описание способа выполнения любой ручной координации взаимодействия между ТС и нижним тестером, при ее необходимости, - любая соответствующая информация о синхронизации, например, ожидаемые рабочие параметры протокола административного управления тестированием;

с) нижерасположенные услуги: указать, что клиент должен обеспечить достаточно надежную (N-1)-услугу и, по возможности, пояснить, каким образом этого можно достичь (не обращаясь к конкретному компьютеру).

А.4.5 Документ "Рабочие инструкции испытательной лаборатории"

В этом документе исполнитель теста должен предусмотреть информацию, которая может стать пособием и руководящим материалом для испытательной лаборатории при выполнении тестирования с помощью СТ, диагностике проблем и повторном прогоне тестов в случае необходимости. Сюда может относиться:

а) подготовка тестирования: способ использования ЗСРП и ДИРПТ для выполнения процессов выборки и параметризации тестов с помощью СТ;

b) выполнение тестирования: описание процесса прогона тестов в нижнем тестере и анализа результатов;

c) контроль выполнения: определение степени детализации контроля при выполнении тестовых примеров; рабочие инструкции должны описывать, каким образом выполняются тестовые примеры и, тем самым, косвенно определять количество тестовых примеров, которые могут быть выполнены в виде одной исполняемой единицы; крайним случаем является наличие одной единственной команды на всю тестовую кампанию (тесты основной взаимосвязи, тесты функциональных возможностей и тесты поведения); другой крайний случай - наличие команды на каждый отдельный шаг тестирования в каждом отдельном тестовом примере КВТ;

d) создание журнала соответствия; контроль его создания, возможность обратного отображения журнала соответствия на стандартные тестовые примеры в спецификации эталонного КАТ;

e) верхний тестер; описание любых исходных доверительных тестов, подлежащих выполнению на нижнем тестере и способа получения хранимых тестовых событий из верхнего тестера;

f) процедуры скоординированного тестирования: описание ручного способа осуществления координации между нижним и верхним тестерами в случае необходимости.