Приложение С (справочное). Методы и показатели оценки пригодности

Приложение С
(справочное)

Методы и показатели оценки пригодности

С.1 Общие положения

Методы оценки пригодности информационно-управляющих систем, используемых в процессе управления ТС и описанных в настоящем приложении, представлены только в виде общей информации, поскольку методики и технологии в данной области постоянно развиваются и изменяются.

С.2 Характеристики методов оценки

Метод оценки содержит экспериментальные процедуры, использующие инструменты в пределах среды. Инструментальные данные подлежат обработке для получения показателей. Основными значимыми характеристиками методов оценки и полученных показателей являются:

a) валидность - степень, в которой показатель выполняет функцию диагностирования для исследуемой концепции;

b) достоверность - воспроизводимость измерений с течением времени;

c) чувствительность - способность измерять небольшие изменения показателя.

Кроме валидности, достоверности и чувствительности на выбор метода оценки влияют и другие практические факторы: стоимость и доступность (возможность воспроизведения) окружающей среды (обстановки) и инструментов, а также время и усилия, необходимые для сбора и обработки данных.

С.3 Окружающая среда и инструменты

Методы оценки применяют для определенной окружающей среды (обстановки), в рамках которой происходит сбор данных. Примерами окружающей среды (обстановки) являются:

- дорога;

- испытательный трек;

- тренажер управления ТС;

- лаборатория;

- математическое моделирование.

Методы оценки для получения данных предусматривают использование инструментов, например:

- видеорегистраторов;

- датчиков движения глаз;

- устройств записи данных о ТС;

- анкет;

- ПК-симуляторов работы ИУС ТС;

- датчиков дорожной полосы.

С.4 Классификация методов оценки

Методы оценки пригодности могут быть разделены на три уровня, как показано на рисунке С.1.

"Рисунок С.1 - Трехуровневая классификация методов оценки"

Переход от уровня 1 к уровню 3 связан с увеличением чувствительности и уменьшением валидности.

Уровень 1 касается анализа дорожных происшествий (столкновений транспортных средств), основанного на данных за несколько лет. Количество происшествий на единицу расстояния (или времени) - это в высшей степени действенный показатель безопасности, который должен являться окончательным критерием оценки ИУС ТС. Однако его достоверность и чувствительность являются низкими, и данные, как правило, не доступны, по крайней мере, в течение небольшого количества лет после начала применения ИУС ТС. Одним из альтернативных вариантов сбора данных о дорожных происшествиях является испытание ИУС ТС на симуляторе и наблюдение за происшествиями. Измерения на основе реальных происшествий долгое время могут иметь очень низкую достоверность и чувствительность, а также сомнительную валидность.

Методы уровня 2 относятся к критическим инцидентам. Обоснованность риска происшествий для показателей уровня 2 ниже уровня 1, хотя чувствительность измерений должна быть выше, поскольку частота критических инцидентов больше фактической частоты дорожных происшествий (см. [4]). В действительности достигаемая чувствительность может зависеть от конкретных условий и длительности испытаний. Стоимость симуляторов и ТС с измерительными приборами, а также необходимые время и трудозатраты обуславливают дороговизну методов критических инцидентов.

Методы уровня 3 касаются измерения показателей, признанных значимыми при взаимодействии с ИУС ТС. Главными факторами являются:

- рабочая нагрузка (недостаточная или избыточная нагрузка);

- качество выполнения задачи по управлению транспортным средством;

- поведенческая адаптация;

- пригодность к использованию.

В целом, полученные показатели являются взаимозависимыми. Достоверность показателей, полученных при помощи ТС с измерительными приборами на дороге, будет выше достоверности показателей, полученных на симуляторе или в результате лабораторных исследований, если условия испытаний не меняются. Поведенческая адаптация лучше всего измеряется во время полевых испытаний, в то время как другие факторы могут быть измерены в лаборатории, на симуляторе или на ТС с измерительными приборами.

В действительности методы уровня 3 главным образом используются для оценки пригодности ИУС во время управления ТС. Обзор данных методов и показателей приведены в [5] и [6]. Конкретные показатели оценки уровня 3 дополнительно описаны в С.5.

С.5 Показатели оценки уровня 3

С.5.1 Рабочая нагрузка

С.5.1.1 Введение

Показатели, используемые для оценки рабочей нагрузки, могут быть разделены на три группы, касающиеся:

- зрительного внимания;

- самооценки;

- выполнения второстепенных задач.

С.5.1.2 Зрительное внимание

С.5.1.2.1 Общие положения

Дисплеи, расположенные в ТС и требующие повышенного зрительного внимания, считаются вредными для безопасности водителя из-за необходимости следить за дорогой (см. [7]). Измерения продолжительности и частоты взглядов при помощи автономного анализа видеозаписи в режиме офлайн отнимают много времени. Кроме этого может быть использован датчик движения глаз для непрерывного анализа в режиме онлайн или автономного анализа в режиме офлайн. Получение дополнительной информации в соответствии c ISO/TS 15007-2 (см. [18]).

С.5.1.2.2 Длительность взгляда

Длительность взгляда - это время с момента установления водителем взгляда в направлении цели (например, на внутреннее зеркало заднего вида) до момента отведения взгляда от нее.

В длительность взгляда входит время перехода взгляда на цель. Кроме этого, она может включать время на аккомодацию глаз. Так как отклонение направления движения транспортного средства возрастает в течение времени, когда водитель не смотрит на дорогу, весомость длительности взгляда может быть высокой. Однако длительность взгляда также зависит от зрительной нагрузки при движении ТС в дорожной ситуации, что ограничивает ее достоверность. Согласно ряду исследований длительность взгляда является достаточно постоянной величиной для множества задач, выполняемых при управлении ТС с определенным верхним пределом, который водитель не любит превышать. Соответственно чувствительность данного показателя зрительной нагрузки является ограниченной.

С.5.1.2.3 Частота взглядов

Частота взглядов - это количество взглядов, направленных на цель, в течение определенного периода времени или определенной задачи, когда каждый взгляд отделен, по крайней мере, одним взглядом, направленным на другую цель.

Частота взглядов (обозначаемая часто как среднее число взглядов) существенно изменяется в зависимости от задач, выполняемых при управлении ТС. Как правило, требуется от одного до семи взглядов для получения и обработки информации. Поскольку частота взглядов связана с общей сложностью визуальной задачи, она является высокочувствительной мерой зрительного внимания или нагрузки. Повышенная частота взглядов указывает на то, что водитель реагирует на увеличенную зрительную нагрузку. Так как диапазон количества взглядов и количество взглядов за задачу согласуются между исследованиями, этот показатель можно считать высоко достоверным.

С.5.1.2.4 Комбинированные показатели

Комбинированные показатели - это показатели, включающие как частоту взглядов, так и их длительность.

Некоторые комбинированные показатели обладают более высокой валидностью, достоверностью и чувствительностью, чем одиночные показатели. Один из них - общее время взгляда (сумма времен последовательных взглядов). Другие показатели выводятся на основании методов поглощения (окклюзии), когда водитель контролирует время, потраченное на слежение за дорогой; процент времени слежения за дорогой является показателем требования к зрительному вниманию.

С.5.1.3 Самооценка

С.5.1.3.1 Индекс рабочей нагрузки

Индекс рабочей нагрузки, связанной с выполнением задачи (NASA-TLX*(1)) - это многомерный показатель, который учитывает субъективные оценки шести факторов рабочей нагрузки: умственного, физического, временного, работоспособности, напряженности и чувства неудовлетворенности см. [8].

Индекс рабочей нагрузки не подходит для выявления пиковили кратковременных увеличений рабочей нагрузки, но является полезным и чувствительным при измерении рабочей нагрузки в течение продолжительного периода времени. Несмотря на то, что это достоверный метод, не существует экспериментальных доказательств наличия связи между значениями индекса NASA-TLX и поведением водителя или критическими инцидентами.

С.5.1.3.2 Методика субъективной оценки рабочей нагрузки

Методика субъективной оценки рабочей нагрузки SWAT*(2) использует многомерную шкалу, которая определяет нагрузку по трем измерениям: стресс от дефицита времени, умственное напряжение и психологический стресс (см. [9]).

Процедура SWAT достаточно трудоемкая. Были предприняты попытки упростить ее. Экспериментальные исследования показали, что упрощенная версия дает сравнимые результаты. Несмотря на то, что методика SWAT является чувствительной, даже более чувствительной, чем шкала МСН (см. С.5.1.3.4), она уступает в своей чувствительности индексу NASA-TLX. Еще предстоит установить валидность методики: Сравнительные исследования показали, что методика SWAT обеспечивает достоверные измерения, однако менее достоверные, чем полученные с помощью индекса NASA-TLX.

С.5.1.3.3 Оценочная шкала умственного усилия

Это одномерная шкала для оценки прикладываемого усилия (см. [10]).

Методика, использующая шкалу RSME*(3), легко применима как в процессе управления ТС, так и после него. В сравнении с другими методиками для измерения рабочей нагрузки она является одной из самых чувствительных. Более высокий уровень прикладываемого усилия является показателем стремления водителя сохранить работоспособность на определенном уровне вследствие возросших требований к выполнению задачи. Высокий уровень прикладываемого усилия считается вредным для безопасности водителя, однако истинность этого предположения нуждается в доказательстве. Методика обладает значительной достоверностью, так как постоянно приводит к более высоким рейтингам рабочих нагрузок, что согласуется с возросшими требованиями выполняемых задач.

С.5.1.3.4 Модифицированная шкала Купер-Харпера

Это одномерная шкала, состоящая из десяти пунктов, из которых складывается единый показатель.

Методика, использующая шкалу МСН, не подходит для измерения кратковременных изменений рабочей нагрузки в процессе управления ТС. Методика чувствительна к изменению сложности задачи, однако она менее чувствительна, чем многомерная методика NASA-TLX или одномерная RSME. Достоверность методики МСН ниже по сравнению с другими популярными методиками, использующими субъективную оценку рабочей нагрузки, а ее валидность еще предстоит определить.

С.5.1.4 Выполнение второстепенных задач

С.5.1.4.1 Общие положения

Второстепенные задачи имеют ряд недостатков, наиболее важным из которых является вмешательство в выполнение основных задач. Поскольку второстепенные задачи, как правило, конкурируют с основными, за внимание и ресурсы они могут привести к ухудшению качества управления ТС. Еще одним недостатком является то, что выполнение второстепенных задач может повлиять на стратегическое распределение ресурсов, когда водитель больше внимания может уделить второстепенным задачам, а не основной, или наоборот. Следовательно, для того чтобы быть полезной, второстепенная задача не должна конкурировать за ресурсы с основной (см. [11]).

С.5.1.4.2 Выполнение зрительной/когнитивной/ручной задачи

Зрительная/когнитивная/ручная задача - это показатель способности водителя взять на себя задачу, непосредственно несвязанную с основной задачей управления ТС.

Задачи, предполагающие зрительное выявление, когнитивную деятельность и ручную работу, часто проектируют таким образом, чтобы они были частью информационных систем водителя. Во многих случаях основная работа по управлению транспортным средством является главным показателем. В зависимости от второстепенной задачи этот показатель может быть чувствительным к изменениям рабочей нагрузки. Адекватность этого показателя будет зависеть от соответствия второстепенной задачи изучаемой ИУС ТС. Поскольку в разных исследованиях используют множество различных второстепенных задач данного типа, достоверность результатов трудно оценить.

С.5.1.4.3 Периферийное обнаружение

Периферийное обнаружение - это показатель способности водителя обнаруживать визуальные стимулирующие воздействия, представленные у края его поля зрения.

Применение данного показателя основано на идее, что с увеличением рабочей нагрузки функциональное поле зрения уменьшается или, в качестве альтернативы, что внимание становится более избирательным. Было показано, что данный показатель является чувствительным, а его предполагаемая адекватность высокой, но это не было твердо установлено (см. [12]). Похожие данные были получены в различных исследованиях при аналогичных обстоятельствах, поэтому данный метод можно считать достоверным.

С.5.2 Выполнение основной задачи управления транспортным средством

С.5.2.1 Введение

Показатели выполнения основной задачи управления транспортным средством тесно связаны с безопасностью водителя. Однако, несмотря на то, что адекватность подобных показателей является высокой, их достоверность и чувствительность часто снижается из-за конкретных факторов, связанных с задачей управления ТС, таких как состояние дороги и автомобильное движение. Это влияние может быть настолько сильным, что они заслоняют любое влияние автомобильных устройств на качество вождения. Это означает, что отклонения, вызываемые факторами, связанными с дорогой или автомобильным движением, необходимо контролировать для получения требуемой чувствительности и достоверности (см. [13]). В действительности все это требует проведения стандартных испытаний в контролируемых условиях, хотя это может снизить экологическую адекватность.

Показатели для оценки выполнения основной задачи управления ТС можно разделить на три группы:

- продольное управление транспортом (изменение скорости);

- поперечное управление транспортом (изменение направления движения);

- осведомленность о дорожной обстановке.

С.5.2.2 Управление скоростью (разгон и торможение)

С.5.2.2.1 Средняя скорость транспортного средства

Средняя скорость транспортного средства - это средняя величина скорости автомобиля в течение данного испытания или периода времени.

Для компенсации негативных эффектов на безопасность водители, как правило, снижают скорость в ситуациях с высокой нагрузкой, обусловленной выполнением задачи. Компенсирующее свойство скорости определяет ее значимость. Скорость транспортного средства зависит от характеристик окружающей обстановки, включая локальные ограничения скорости и движение другого транспорта. Из-за большого числа факторов (в том числе и инструкции для водителя) чувствительность и достоверность существенно зависят от способа проведения испытаний. В условиях, нуждающихся в особом контроле, снижение скорости свидетельствует о возросших требованиях к выполнению задач управления ТС в автомобиле. Адекватность данного показателя высокая в том смысле, что высокая скорость или ее изменения связаны с повышенным риском дорожного происшествия.

С.5.2.2.2 Стандартное отклонение скорости

Стандартное отклонение скорости - это изменение скорости транспортного средства в течение данного испытания или периода времени.

Большое изменение скорости связано с увеличенным риском дорожного происшествия, особенно в условиях повышенной плотности движения. Соответственно адекватность данного показателя является высокой. Чувствительность и достоверность зависят от способа проведения испытаний, поскольку данный показатель зависит не только от реакции водителя на изменения рабочей нагрузки или от недостатка внимания к управлению скоростью, но и от особенностей задачи управления транспортным средством.

С.5.2.2.3 Временной интервал

Временной интервал - интервал во времени между двумя следующими друг за другом автомобилями.

Временной интервал рассчитывается путем деления расстояния от бампера до бампера на скорость следом идущего автомобиля. На показатель влияют условия видимости и состояние водителя, например, усталость. Было установлено, что временной интервал является достоверным и чувствительным к изменению требований. Валидность этого показателя для безопасности водителя очевидна. Снижение временного интервала считают небезопасным, в то время как его увеличение в сложных условиях воспринимают как реакцию водителя по обеспечению безопасности.

С.5.2.2.4 Время до столкновения

Время до столкновения (ВДС) - это время, необходимое для того, чтобы два автомобиля столкнулись, если они будут продолжать движение с той же скоростью и в том же направлении.

Небольшие значения времени до столкновения (далее - ВДС) могут рассматриваться как критические инциденты для следом идущих автомобилей, поэтому валидность данного показателя очень высока. Так как столкновения происходят нечасто, то чувствительность и достоверность показателя ВДС, имеющего малые значения, довольно низка. В условиях повышенной плотности движения небольшие значения показателя ВДС возникают гораздо чаще и имеют более широкий диапазон изменений. Распределение этих величин может использоваться как более чувствительный и надежный показатель.

С.5.2.3 Изменение направления движения

С.5.2.3.1 Стандартное отклонение направления движения

Стандартное отклонение направления движения (далее - СОНД) - это изменение положения транспортного средства в пределах дорожной полосы.

Для измерения СОНД в процессе управления требуется наличие датчика положения на дорожной полосе. Сильное влияние на СОНД оказывает скорость движения, ширина полосы и автомобильные маневры. Если СОНД измеряют в контролируемых условиях, в которых снижены отклонения, то достоверность и чувствительность данных показателей может быть высокой. Показатель СОНД имеет высокую валидность, поскольку было установлено, что он связан с вероятностью выезда заграницы дорожной полосы.

С.5.2.3.2 Стандартное отклонение угла поворота рулевого колеса

Стандартное отклонение угла поворота рулевого колеса (далее - СОУП) - это его изменение.

Высокая нагрузка часто приводит к ухудшению динамики поворота рулевого колеса. В отличие от СОНД угол поворота рулевого колеса легко рассчитать и для симулятора, и для измерительного транспорта. СОУП и коррелирующее с ним СОНД являются показателями одного и того же процесса. В контролируемых условиях испытания при управлении транспортным средством на прямой дороге с постоянной скоростью данный показатель чувствителен к изменениям требований задачи. Кроме этого, при этих условиях показатель является также достоверным. Его валидность сравнима с валидностью СОНД.

С.5.2.3.3 Амплитуда поворота рулевого колеса

Амплитуда поворота рулевого колеса - это максимальная амплитуда угла поворота рулевого колеса во время данного испытания или периода времени.

Было установлено, что амплитуда поворота рулевого колеса обладает высокой валидностью для измерения воздействия на водителя нагрузок, связанных с выполнением задачи, и его усталости. При высокой рабочей нагрузке или высоких визуальных требованиях других задач (например, задач по контролю скорости) снижается внимание к задаче по изменению направления движения. Данных для оценки чувствительности и достоверности не достаточно, так как в этой области проведено мало исследований.

С.5.2.3.4 Частота изменения положения рулевого колеса

Частота изменения положения рулевого колеса (далее - ЧИПР) - это частота изменения положения*(4) рулевого колеса (выше порогового значения) во время данного испытания или периода времени.

Согласно результатам экспериментов ЧИПР является валидным, чувствительными достоверным показателем только в рамках ограниченного диапазона нагрузок, связанных с выполнением задачи. Кроме этого, в последних публикациях отмечено, что повышенная рабочая нагрузка связана одновременно с увеличенной и пониженной ЧИПР.

С.5.2.3.5 Время для пересечения линии разметки (ВПЛ)

Время для пересечения линии разметки*(5) - это время, требующееся для того, чтобы любая часть автомобиля достигла одной из границ дорожной полосы.

Факторы, связанные с дорогой и транспортным средством, такие как ширина полосы, ее кривизна и скорость транспортного средства, влияют на ВПЛ в меньшей степени, чем на СОНД. Однако ВПЛ может быть измерено только в симуляторах из-за практической сложности достаточно точного измерения поперечного положения транспортного средства во время испытаний на дороге. Валидность данного показателя является высокой, так как малые значения ВПЛ тесно связаны с пересечением границ дорожной полосы. Хотя количество исследований в данной области ограничено, достоверность и чувствительность представляются высокими.

С.5.2.3.6 Отклонение за границы дорожной полосы

Отклонение за границы дорожной полосы - это количество отклонений или процент времени, когда происходит нарушение границ дорожной полосы.

Этот показатель менее достоверный, чем измерение положения на полосе транспортного средства при помощи датчика. С одной стороны, так как частота фактического пересечения границы дорожной полосы обычно очень мала, чувствительность данного показателя является низкой. С другой стороны, этот показатель имеет высокую валидность, так как пересечение границы полосы представляет собой высокий риск дорожно-транспортного происшествия. Согласно данным некоторых исследований надежность данного показателя является приемлемой.

С.5.2.4 Осведомленность о дорожной обстановке. Обнаружение придорожных объектов

Обнаружение придорожных объектов - это количество и тип осознанно обнаруженных водителем объектов, расположенных по сторонам дороги.

Водитель должен распределять внимание между выбором направления движения, управлением скоростью, задачами в ТС и вне его (например, обнаружением придорожных объектов: дорожных знаков, указателей направления маршрутов транспорта или пешеходов). Если нагрузка по выполнению любой из этих задач возрастает, то это может привести к понижению внимания в отношении одной или более задач. Вероятно, негативному влиянию первым подвергается контроль за придорожной обстановкой; поскольку последствия съезда с дороги или столкновения с другим автомобилем являются чаще всего более серьезными. Таким образом, обнаружение придорожных объектов может оказаться чувствительным к нагрузке, связанной с выполнением задач. Согласно ряду исследований обнаружение придорожных объектов является надежным показателем см. [14]. С точки зрения безопасности движения этот показатель имеет высокую валидность.

С.5.3 Поведенческая адаптация

С.5.3.1 Общие положения

Измерение поведенческой адаптации требует установления сравнительной методологии, т.е. сравнения исходных данных, полученных до, например, применения ИУС ТС, с соответствующими данными, полученными в процессе управления ТС с использованием ИУС. Поведенческая адаптация может быть сразу же очевидна, но может потребоваться и более длительное время для ее установления. Примеры показателей приведены в приложении С.5. Следует отметить, что эти показатели во многом могут зависеть от состояния водителя, задачи управления транспортным средством и других окружающих факторов. Соответственно, в то время как все показатели проявляют достаточную валидность, их достоверность и чувствительность зависят от особенностей применяемой сравнительной методологии. Дополнительная информация о поведенческой адаптации приведена в (см. [15]).

Многие показатели, рассмотренные в С.5.1 и С.5.2, могут быть использованы для измерения поведенческой адаптации. Дополнительные показатели приведены в С.5.3.2 - С.5.3.5.

С.5.3.2 "Готовность к торможению"

Этот показатель измеряет готовность водителя воспользоваться тормозами.

Наблюдение за этим косвенным показателем подробно показывает, как водитель постепенно по ходу тестовой поездки начинает все более уверенно применять тормоза.

С.5.3.3 Использование средств управления

Применение систем управления, в том числе ускорение или торможение ТС, по отдельности или в сумме, может быть мерой использования ИУС, а также эволюции ее использования по ходу данной тестовой поездки.

С.5.3.4 Занимаемая полоса движения

Занимаемая полоса движения означает дорожную полосу, по которой движется ТС при ряде свободных полос, имеющихся во время данной тестовой поездки.

С.5.3.5 Выполняемые маневры

Этот показатель включает маневры, выполненные водителем, и их своевременность.

Маневры включают в себя выезд автомобиля из потока движения, вхождение автомобиля в потоки поворот. Данные показатели могут быть измерены в течение данной тестовой поездки. Они указывают на изменения в маневре вождения.

С.5.4 Удобство использования

С.5.4.1 Общие положения

Удобство использования касается простоты использования и качества взаимодействия между водителем и ИУС и влияет на пригодность конкретной ИУС для использования во время управления ТС. Удобство использования можно оценить с помощью показателей, таких как работоспособность, эффективность, удовлетворенность, простота освоения, управляемость, информативность и соответствие ожиданиям водителя. Учет потребности водителя в подготовке также является полезным показателем. Собранные воедино показатели работоспособности и самооценки представляют собой полезную информацию. Дополнительная информация об оценке удобства пользования приведена в [16].

Многие показатели, рассмотренные в подразделах С.5.1 и С.5.2, могут быть применены для измерения удобства пользования. Валидность, достоверность и чувствительность показателей в значительной степени зависят от условий, в которых были получены экспериментальные данные. При оценивании удобства использования валидность, скорее всего, будет выше, если измерения проводят в реальных условиях управления ТС или с использованием обоснованных математических моделей. Дополнительные показатели приведены в С.5.4.2 - С.5.4.4.

С.5.4.2 Время завершения задачи

Время завершения задачи - это период времени, требуемый водителю для успешного выполнения конкретной задачи при помощи ИУС ТС.

Задачи включают в себя выделение части информации и совершение управляющего действия.

С.5.4.3 Ошибки задачи

Ошибки задачи - это показатель, используемый при измерении количества и характера ошибок и проблем, с которыми сталкивается водитель во время взаимодействия с ИУС ТС.

С.5.4.4 Время реагирования ИУС ТС

Время реагирования ИУС ТС - это период времени между действием водителя и реакцией ИУС ТС.