Рекомендация МИ 2174-91 "Государственная система обеспечения единства измерений. Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения" (утв. НПО "ВНИИМ им. Д.И. Менделеева" 30 сентября 1991 г.)

Дата введения - 1 января 1992 г.

1 Область применения

Положения настоящей рекомендации распространяются на алгоритмы и программы обработки данных, которые выделены как самостоятельные объекты и существуют обособленно (в частности, могут использоваться на различных вычислительных устройствах) и рекомендуются для использования в измерительной практике.

Настоящая рекомендация устанавливает основные положения аттестации алгоритмов и программ, предназначенных для обработки данных при измерениях физических величин.

Положения настоящей рекомендации могут быть использованы при разработке алгоритмов и программ обработки данных при измерениях, исследовании их свойств и обосновании целесообразности их применения для решения измерительных задач, а также при разработке нормативно-технических документов, регламентирующих обработку данных при измерениях, и методик выполнения измерений (МВИ).

Определения основных терминов, используемых в рекомендации - по справочному приложению 1.

2 Общие положения

2.1 Алгоритм обработки экспериментальных данных, полученных при измерении (результатов наблюдений), представляет собой последовательность арифметических и логических операций, производимых над полученными экспериментальными данными (с учетом априорной информации) с целью определения результата измерения и характеристик его погрешности.

2.1.1 Алгоритмы, применяемые для обработки данных при измерениях, должны сопровождаться алгоритмами оценивания характеристик погрешностей результатов измерений.

2.1.2 Алгоритм может быть задан различными способами, в том числе, представлен в явном виде (конечной последовательностью арифметических и логических операций), или в виде рекуррентной вычислительной процедуры.

2.2 Программа обработки данных при измерении представляет собой самостоятельный объект, являющийся конкретной программной реализацией алгоритма обработки данных. Свойства программы существенно зависят от конкретной программной и аппаратной среды, в которой она работает.

Примечание. Программа как самостоятельный объект, может использоваться на нескольких ЭВМ, совместимых либо на программном, либо на аппаратном уровне.

2.3 Аттестация алгоритма (программы) обработки данных - исследование свойств алгоритма (программы) на моделях исходных данных, в результате которого определяют свойства и оценивают количественные характеристики алгоритма (программы), с последующей регистрацией полученных характеристик в свидетельствах об аттестации или разделах других документов (с указанием использованных моделей).

Модели исходных данных для аттестации выбираются в соответствии с положениями разд. 5.

2.3.1 Рекомендуется выполнять аттестацию для следующих объектов:

- алгоритмов обработки данных, представляющих собой самостоятельные объекты использования;

- программ обработки данных, реализующих выбранный алгоритм обработки и представляющих собой самостоятельные программные продукты;

- алгоритмов и программ обработки данных в составе прикладного программного обеспечения конкретных измерительных устройств, ИВК, ИИС, ИУС, МВИ.

2.3.2 Аттестация программы должна выполняться после ее отладки, верификации и тестирования.

2.3.3 При выполнении аттестации программы целесообразно использовать результаты аттестации исходного алгоритма (проверяя соответствие характеристик алгоритмов и программ, а также используемых моделей исходных данных).

Примечание. Аттестация алгоритма может представлять собой первый этап аттестации программы.

2.4 Аттестация алгоритмов и программ рассматривается в двух аспектах: общая (исследовательская) и конкретная (метрологическая).

2.4.1 Если алгоритм (программа) рассматривается как самостоятельный объект и может применяться для обработки исходных данных с различными свойствами, то выполняется общая (исследовательская) аттестация алгоритма (программы).

2.4.2 Если алгоритм (программа) рассматривается как составная часть прикладного программного обеспечения конкретных измерительных устройств, ИВК, ИИС, ИУС, МВИ, и имеется значительная априорная информация об исходных данных, то выполняется конкретная (метрологическая) аттестация.

2.5 Общая (исследовательская) аттестация алгоритма (программы) - исследование внутренних свойств алгоритма (программы) с целью последующего обоснования его применения в конкретных задачах.

В результате общей аттестации алгоритма (программы) получают оценки характеристик точности, устойчивости и сложности алгоритма (программы), при различных моделях исходных данных.

2.6 Метрологическая аттестация алгоритма (программы) - это исследование точностных свойств алгоритма (программы) в рамках конкретной измерительной задачи или МВИ с целью оценивания характеристик составляющих погрешностей результатов измерений.

В результате метрологической аттестации получают оценки характеристик составляющих погрешностей результатов обработки.

2.7 Результаты аттестации алгоритма (программы) следует использовать при обосновании его (ее) выбора и применения.

2.7.1 Общую аттестацию нового алгоритма (программы) следует выполнять на заключительном этапе разработки алгоритма (программы) прежде, чем рекомендовать его для практического применения.

При применении ранее разработанного и аттестованного алгоритма используют результаты его аттестации с обязательной проверкой соответствия перечня характеристик алгоритма и моделей исходных данных требованиям, которые предъявляются к алгоритму при его применении.

2.7.2 Метрологическая аттестация алгоритма (программы) проводится при выборе алгоритма (программы) для решения конкретной измерительной задачи, при разработке МВИ, проектировании ИВК или ИИС, при аттестации МВИ, ИВК или ИИС.

3 Общая схема аттестации алгоритмов (программ)

3.1 При выполнении аттестации алгоритма (программы) рекомендуется придерживаться следующего порядка действий:

3.1.1 Установить набор основных характеристик алгоритма (программы), которые следует оценивать: .

3.1.2 Установить набор моделей исходных данных, поступающих на обработку .

3.1.3 Вычислить (оценить) значения характеристик алгоритма (программы) на выбранных типовых моделях :

.

3.1.4 Оформить свидетельство об аттестации алгоритма (программы), включающее матрицу характеристик .

3.2 При выполнении общей аттестации целесообразно выделить (описать) группу однородных алгоритмов, предназначенную для решения одной задачи обработки и содержащую исследуемый алгоритм.

Примечание. Рабочая классификация алгоритмов обработки, полезная для целей аттестации приведена в справочном приложении 2.

3.3 В рамках приведенной единой схемы аттестации (п. 3.1) задачи общей и метрологической аттестации алгоритмов (программ) различаются:

- по целям их выполнения и способам использования полученных результатов;

- по используемым наборам характеристик алгоритмов (см. разд. 4);

- по используемым типовым моделям исходных данных, поступающих на обработку (см. разд. 5).

3.4 Характеристики алгоритмов (программ) устанавливают с учетом целей аттестации и свойств группы алгоритмов.

3.4.1 При общей аттестации характеристики устанавливают так, чтобы они достаточно полно отражали свойства алгоритмов и позволяли сопоставлять их в рамках выделенной группы однородных алгоритмов, предназначенных для решения одной из типовых измерительных задач (при одинаковых вариантах условий, определяющих возможные случаи применения).

Указанные наборы характеристик приводятся в разделах НТД, регламентирующих обработку данных для соответствующих задач.

3.4.2 При метрологической аттестации характеристики устанавливают с целью оценивания составляющих погрешностей результатов обработки в конкретной измерительной задаче (или MBИ) и приводят в соответствующей МВИ, свидетельстве об аттестации алгоритма или программной документации.

3.5 Набор типовых моделей исходных данных, поступающих на обработку, устанавливают, исходя из конкретных целей аттестации, с учетом следующих требований:

- модели должны быть не очень сложными;

- число моделей в наборе должно быть небольшим;

- модели должны в совокупности достаточно полно описывать свойства возможных исходных данных.

Выбранные модели должны, по возможности, соответствовать наихудшим вариантам (с точки зрения искомых характеристик алгоритма или программы).

3.5.1 При общей аттестации набор моделей устанавливают на основе предварительных представлений и накопленных сведений о свойствах данных так, чтобы наиболее полно выявить свойства алгоритма.

3.5.2 При метрологической аттестации набор моделей устанавливают на основе анализа априорной информации о конкретной измерительной задаче (выявления источников погрешностей и анализа их свойств) с целью наибольшего приближения к свойствам реальных данных.

3.5.3 При переходе от общей к метрологической аттестации число используемых моделей, как правило, уменьшается, а вид моделей уточняется (в том числе, усложняется).

3.6 Получаемые при аттестации значения характеристик на типовых моделях представляют собой зависимости соответствующих характеристик алгоритмов (программ) от параметров, описывающих модели исходных данных.

Примечания:

1 Основные способы оценивания (вычисления) указанных зависимостей приведены в разд. 6.

2 Основные формы представления зависимостей приведены в разд. 7.

3 Примеры аттестации алгоритмов обработки данных при прямых многократных измерениях приведены в рекомендуемом приложении 3.

4 Рекомендации по выбору характеристик алгоритмов и программ при проведении аттестации

4.1 При общей аттестации алгоритмов (программ) установлены следующие группы характеристик:

- характеристики точности, предназначенные для оценивания погрешностей результатов измерений, получаемых при использовании алгоритма (программы);

- характеристики устойчивости (надежности), которые задают область работоспособности алгоритма (программы);

- характеристики сложности, которые отражают трудоемкость вычислений или вычислительные затраты при однократном применении алгоритма (программы).

4.2 К характеристикам точности алгоритмов (программ) относятся:

- основные характеристики точности, предназначенные для оценивания составляющих погрешностей результатов обработки на моделях исходных данных;

- вспомогательные характеристики точности - параметры погрешностей результатов обработки, полезные при сопоставлении алгоритмов (программ), но отличные от основных характеристик точности.

4.2.1 При аттестации алгоритмов оценивают характеристики составляющих погрешностей результатов обработки, в том числе:

- методической погрешности, обусловленной неидеальностью метода обработки;

- трансформированной погрешности, обусловленной погрешностями исходных данных и их преобразованиями при обработке.

4.2.2 К основным характеристикам точности алгоритмов (программ) относятся:

- границы методической составляющей погрешности;

- границы систематических составляющих трансформированной погрешности результата измерения;

- СКО случайной составляющей трансформированной погрешности.

4.2.3 При метрологической аттестации программ, реализующих алгоритмы, необходимо оценивать характеристики точности (СКО и границы погрешностей) с учетом дополнительных составляющих погрешностей результатов, обусловленных особенностями работы программы в конкретной вычислительной среде, в том числе:

- округлением промежуточных результатов;

- ограниченностью разрядной сетки;

- дискретизацией по аргументу;

- конечным числом итераций;

- использованием конечных разложений в ряд, и др.

4.3 К характеристикам устойчивости алгоритмов (программ) относятся:

- допустимое число или доля данных, которые могли бы содержать промахи (большие погрешности), не нарушая работоспособности алгоритма;

- границы интервалов (областей) значений параметров исходных данных, в которых алгоритм работает без сбоев (грубых ошибок).

4.4 Основными характеристиками сложности алгоритмов являются показатели вычислительной сложности, определяемые числом типовых операций (арифметических и логических), необходимых для однократного вычисления по данному алгоритму.

4.5 К основным характеристикам сложности программ обработки данных относятся:

- временная сложность, определяемая как время работы ЭВМ при однократном выполнении программы;

- объемная сложность, определяемая как объем памяти ЭВМ (отдельно долговременной и оперативной), необходимой для работы программы.

4.6 При метрологической аттестации алгоритмов (программ) используют основные характеристики точности по п. 4.2.

Примечание. По согласованию с заказчиком при метрологической аттестации могут использоваться также некоторые вспомогательные характеристики точности, а также характеристики устойчивости и сложности.

5 Рекомендации по выбору моделей исходных данных при аттестации алгоритмов и программ

5.1 Модели исходных данных при аттестации формируются как сочетания моделей полезных сигналов и моделей погрешностей исходных данных.

5.1.1 Если данные поступают на обработку в аналоговом виде, то модели исходных данных представляют в виде случайных или детерминированных функций непрерывного аргумента.

5.1.2 Если данные поступают на обработку в дискретном виде, то модели исходных данных представляют в виде случайных или детерминированных последовательностей.

5.2 Модели полезных сигналов формируют на основе постановки измерительной задачи, используя уравнения измерений, сведения о свойствах входных сигналов средства измерений (СИ) и его метрологических характеристиках.

5.3 Модели погрешностей формируют отдельно для случайных и систематических составляющих, учитывая сведения по п. 5.2, а также сведения о возможных помехах на входе и выходе СИ.

5.4 Для случайных составляющих погрешностей исходных данных принимают модели в виде случайных функций или последовательностей, имеющих определенные распределения и корреляционные функции.

В пп. 5.4.1 и 5.4.2 приведены примеры распределений и корреляционных функций, наиболее часто применяемых при аттестации. Вместо них или в дополнение к ним можно использовать другие распределения и корреляционные функции, вид которых обоснован спецификой исследуемого алгоритма и условий его применения.

5.4.1 При выполнении аттестации можно использовать следующие распределения (существенно различные по свойствам):

- гауссовское,

- равномерное,

- двойное экспоненциальное.

Для исследования поведения алгоритмов при небольших отклонениях распределений погрешностей от гауссовского используют засоренное гауссовское распределение, имеющее плотность вида:

,

где g и h - плотности гауссовского и засоряющего распределений, с > 0.

5.4.2 При проведении аттестации можно использовать следующие корреляционные функции:

- (соответствующую белому шуму),

- стационарную корреляционную функцию вида

, a > 0,

- стационарную корреляционную функцию с заданной дробно-рациональной спектральной плотностью,

- нестационарную корреляционную функцию вида

, t, v > 0.

5.5 Для систематических составляющих погрешностей возможны модели в виде детерминированных функций или последовательностей. Например, в виде следующих функций:

- постоянной,

- линейной,

- синусоидальной.

Примечание. В отдельных случаях для неисключенных систематических погрешностей принимают статистические модели (чаще всего - с равномерным распределением).

6 Способы оценивания характеристик алгоритмов и программ

6.1 Выделяются три основных подхода к определению (оцениванию) характеристик алгоритмов (программ) на моделях исходных данных:

- аналитический подход;

- численные расчеты показателей точности;

- математическое моделирование (прежде всего, статистическое).

6.2 При аналитическом подходе выражения находят в виде явных функций от параметров исходных данных, в том числе, характеристик погрешностей исходных данных и объема данных; при этом используют точные или приближенные аналитические методы в рамках принятых (точных) моделей исходных данных. Зависимости могут быть представлены в различных формах (см. п. 7.3).

6.3 При использовании численных методов выделяются два основных варианта.

6.3.1 Принимают упрощенные типовые модели данных и приближенно оценивают характеристики алгоритма (программы) как функции от параметров моделей данных. В результате получают приближенные аналитические зависимости характеристик от параметров моделей.

6.3.2 задают конкретные значения параметров моделей исходных данных и приближенно оценивают значения характеристик алгоритма (программы), соответствующих выбранным значениям. В результате получают оценки характеристик для конкретных значений параметров.

6.4 При использовании статистического моделирования выполняют следующие операции:

- задают конкретные значения параметров моделей исходных данных;

- моделируют (многократно) наборы исходных данных, поступающих на вход алгоритма (программы) обработки;

- применяя исследуемый алгоритм (программу) к полученным наборам данных, получают серию результатов вычислений;

- путем дополнительной обработки полученной серии результатов вычислений, оценивают искомые характеристики алгоритма (программы).

ГАРАНТ:

Здесь и далее нумерация пунктов приводится в соответствии с источником

5.4.1 При использовании моделирования для каждого набора значений параметров исходных данных С получают конкретное значение характеристики т.е. i-я характеристика представляется в виде таблицы .

5.4.2 При реализации процедуры статистического моделирования, как правило, используют ЭВМ. При анализе результатов аттестации необходимо учитывать свойства процедуры моделирования, в том числе, используемых датчиков случайных чисел.

6.5 При аттестации сложных алгоритмов целесообразно комплексно использовать указанные подходы. В частности, целесообразно приближенно оценивать асимптотическое поведение показателей в аналитическом виде; а затем, более точно, - оценивать показатели путем статистического моделирования.

7 Оформление и представление результатов аттестации

7.1 Результаты общей аттестации алгоритмов (программ) могут быть представлены:

- в свидетельствах об аттестации алгоритмов (программ);

- в справочных материалах, содержащих типовые алгоритмы обработки данных при прямых, косвенных, совместных и совокупных измерениях и результаты их аттестации;

- в разделах НТД, посвященных вопросам обработки данных для отдельных групп измерений (в том числе, НТД по методам обработки данных).

7.2 Результаты метрологической аттестации алгоритмов (программ) могут быть представлены:

- в разделах НТД, связанных с вопросами обработки данных при конкретных видах измерений (в том числе, МВИ или аттестатов МВИ);

- в разделах свидетельств об аттестации ИВК или ИИС.

7.3 При представлении результатов аттестации алгоритма (программы) в документах по пп. 7.1, 7.2 должны быть указаны следующие данные:

- перечень характеристик , значения которых оценивались при аттестации;

- перечень моделей исходных данных , при которых определялись (оценивались) значения характеристик;

- способы оценивания характеристик на указанных моделях;

- зависимости характеристик от параметров моделей исходных данных, вычисленные (оцененные) на указанных моделях данных.

7.4 Зависимости характеристик алгоритма (программы) от параметров моделей исходных данных, полученные в ходе аттестации, могут быть представлены в форме:

- аналитического выражения (формулы), задающего как явную функцию от параметров моделей исходных данных :

;

- таблицы значений показателей при конкретных значениях параметров моделей исходных данных ;

- комбинированной, когда некоторые параметры входят в зависимость аналитически, а другие - задаются конкретными значениями;

- графиков зависимостей значений показателей от отдельных параметров моделей исходных данных:

.

7.5 Расчет значений характеристик алгоритма (программы) на типовых моделях исходных данных выполняется:

- разработчиком алгоритма (программы) - если предлагается новый алгоритм (программа);

- пользователем алгоритма (программы) - если отсутствуют данные о его аттестации;

- разработчиком МВИ - при метрологической аттестации алгоритма обработки данных, входящего в состав МВИ, и отсутствии данных об аттестации алгоритма;

- разработчиком ИВК, ИИС, ИУС или измерительного устройства - при метрологической аттестации алгоритмов (программ), входящих в состав прикладного программного обеспечения перечисленных систем и отсутствии данных об их предварительной аттестации.