Приложение С (справочное). Методы и средства разработки, калибровки, тестирования и проверки модели

Приложение С
(справочное)

Методы и средства разработки, калибровки, тестирования и проверки модели

С.1 Введение

Построение модели включает в себя этапы разработки, калибровки и тестирования, а также проверки (верификации) на реальных объектах, каждый из которых важен для оценивания модели и повышения ее точности. В настоящем приложении приведены рекомендации, которые могут быть использованы при разработке методов оценивания модели и повышения ее точности.

Прежде всего должны быть точно определены показатели, используемые для оценки передаваемой вибрации и переизлученного шума, чтобы данные на выходе модели и результаты измерений могли быть отнесены к одним и тем же величинам и условиям получения их значений.

Модель следует использовать только для тех условий, для которых она была предназначена. Например, если при разработке модели было принято допущение о представлении грунта в виде полупространства, ее не следует использовать для грунта, имеющего слоистую структуру, а от модели, построенной на этапе предварительного проектирования, нельзя ожидать высокой точности при ее тестировании (см. разделы 8 и 9, где определены этапы проектирования и типы моделей).

С.2 Характеристики точности модели

Упрощенная процедура оценки точности схематично показана на рисунке С.1.

Рисунок С.1 - Параметры, характеризующие точность метода

Под точностью понимают близость к истинному значению прогнозного (точность модели) или измеренного (точность метода измерений) значения. Истинное значение редко бывает известно, поэтому при оценке точности обычно проводят сопоставление прогнозных значений с результатами измерений.

Неопределенность прогнозного значения характеризует изменчивость выходных данных модели, что связано с изменчивостью входных данных. Неопределенность измерений характеризует изменчивость результатов измерений, связанную с изменчивостью условий измерений (например, измерения проводят при прохождении разных транспортных средств или для разных геологических условий).

Под измеримой погрешностью предложено понимать разность между прогнозным и измеренным значениями*. Измеримая погрешность имеет две составляющие (см. ИСО 3534-1 [5] и GUM [25]):

- систематическую погрешность (характеризующую точность модели);

- случайную погрешность (связанную с погрешностями прогнозного и измеренного значений).

На рисунке С.2 показаны две типичные ситуации, когда преобладает та или иная составляющая измеримой погрешности.

Рисунок С.2 - Две составляющие измеримой погрешности

С.3 Генеральная совокупность прогнозных значений и выборка результатов измерений

С.3.1 Общие положения

Для разработки и калибровки модели необходимо иметь пары прогнозных и измеренных значений. Несмотря на то, что на практике существует ряд ограничений (стоимость, время измерений), в идеале выборка данных должна позволить:

- охватить весь диапазон изменений значения каждого параметра (скорости движения, расстояния, типа грунта и т.д.), влияющего на результат прогноза;

- получить статистически устойчивые характеристики неопределенности прогнозного и измеренного значений.

Для выполнения указанных требований необходимы анализ чувствительности модели и выборка измерений большого объема.

С.3.2 Анализ чувствительности модели

Анализ чувствительности модели позволяет оценить влияние изменений одного или нескольких входных параметров, задание которых сопровождается собственной неопределенностью, на выходные данные модели.

Пример - Для некоторой переменной могут быть установлены три значения: минимальное, среднее и максимальное, после чего исследуют, как переход от одного значения к другому (при сохранении неизменными значений всех остальных существенных параметров) изменяет значение параметра на выходе модели.

Для оценки характеристик измеримой погрешности могут быть использованы методы, применяемые при оценке риска и в математической статистике, например метод Монте-Карло.

С.3.3 Разброс результатов измерений

Разброс результатов измерений обусловлен изменением условий их проведения. Оценить этот разброс можно по результатам множественных измерений при условии, что эти измерения выполнены с соблюдением следующих требований:

- обеспечение вариативности подвижного состава: измерения выполняют не менее чем для пяти образцов подвижного состава (во время их коммерческой эксплуатации) при движении по заданному пути;

- обеспечение вариативности рельсовых путей: измерения выполняют не менее чем для пяти образцов подвижного состава (во время их коммерческой эксплуатации) при движении по каждому пути.

Где это применимо, следует обеспечить также вариативность точек измерений. Измерения на заданном расстоянии от рельсового пути следует повторять не менее двух раз для разных точек вдоль пути, отстоящих друг от друга не менее чем на 10 м и не более чем на 100 м.

С.4 Разработка и калибровка модели

Наиболее эффективным средством определения коэффициентов модели для соответствующих параметров (скорость движения, расстояние от рельсового пути и др.) на стадиях разработки и калибровки является подгонка зависимостей таким образом, чтобы данные на выходе модели наилучшим образом совпадали с результатами измерений.

После применения данной процедуры к каждому параметру модели ее можно использовать для модели в целом.

Основой для последующего анализа является построение градуировочной функции (не обязательно в виде прямой линии) на стадии калибровки. Один из примеров подгонки градуировочной функции представлен на рисунке С.3. После этого модель возвращают на стадию разработки и модифицируют таким образом, чтобы градуировочная функция имела вид прямой, проходящей через центр координат, с коэффициентом наклона, равным единице.

С.5 Тестирование модели

Для тестирования модели используют данные (пары прогнозных и измеренных значений), не применявшиеся на стадиях разработки и калибровки.

Простейшим видом тестирования является получение выборочных оценок среднего значения и стандартного отклонения измеримой погрешности по результатам обработки разностей прогнозных и измеренных значений, полученных для каждой из пар. Среднее значение и стандартное отклонение характеризуют систематическую и случайную составляющие измеримой погрешности соответственно. Указанный способ, однако, не позволяет выявить зависимость среднего значения и стандартного отклонения от прогнозного значения, что может быть важно при экстраполяции данных на области, не использованные при разработке модели.

Отклонение свободного члена градуировочной прямой от нуля и коэффициента при линейном члене от единицы характеризуют систематическую погрешность, вносимую градуировочной кривой для данного значения аргумента (прогнозного значения) - см. рисунок С.4.

Рисунок С.3 - Реальная и идеальная градуировочные кривые

Рисунок С.4 - Погрешность, вносимая градуировочной кривой