Приложение D (справочное). Типовой метод оценки

Приложение D
(справочное)

Типовой метод оценки

В настоящем приложении приведены описание возможного метода оценки и примеры его применения, а также его преимущества и недостатки.

D.1 Этапы метода

На рисунке D.1 представлена схема, отражающая наиболее общие принципы рассматриваемого метода оценки.

Рисунок D.1 - Типичная организация проведения оценки

Для каждого направления проводимой оценки определяют круг задач. Задачи предполагают анализ использования операторами в своей работе систем БПУ (органов управления, сигналов). В зависимости от оцениваемого направления задача может быть сформулирована более или менее подробно. Задачи могут состоять, например, в проверке способности операторов:

- правильно эксплуатировать АС в любой ситуации;

- быстро и правильно интерпретировать аварийные сообщения (тесты на обнаружение и понимание нарушений, используя систему сигнализации);

- грамотно и эффективно использовать независимые, совпадающие по времени процедуры (тесты на управление станцией с одновременным использованием нескольких разнообразных процедур).

Для каждой задачи определяют перечень определяемых параметров:

- определяемыми параметрами являются элементы деятельности операторов (использование диалога, рабочего места, голосовой и визуальной связи) или состояние процесса (появление сигналов, изменение состояния);

- определяемые параметры выбирают в зависимости от их значимости для выполнения задачи. Ими являются элементы деятельности, которые в наибольшей степени (теоретически) способны подтвердить выполнение задачи анализа.

Одновременно для каждой задачи устанавливают процедуры первичной обработки результатов оценки определяемых параметров. Установление определяемых параметров и процедур обработки следует согласовывать в первую очередь. Они могут составить полезный массив данных для проведения (при желании) статистического анализа результатов.

Ситуации определяют в зависимости от задач анализа. При использовании прототипа ситуации должны в большей или меньшей степени соответствовать реальным сценариям управления:

- проверка может потребовать прохождения и наблюдения определенных фаз рабочего процесса (например, фаза с большим количеством сигналов, в которой проверяют достаточность средств отображения сигналов);

- в определенных ситуациях некоторые требования могут быть сформулированы таким образом, что эти ситуации могут быть использованы в качестве тестов для выполнения нескольких задач.

Время, отведенное для опросов, дает возможность завершить фазы наблюдения:

- опросы могут быть проведены во время наблюдения или после него;

- во всех случаях следует определить средства, которые будут использованы для опросов (анкеты, опросы ответственных за направление, данные наблюдений, используемые как средство для опроса).

Эти опросы играют тройную роль и позволяют:

- получить от операторов объяснения результатов наблюдений, помогающие при их анализе;

- получить более детальные данные о специфических проблемах, возникших в процессе наблюдений;

- получить обобщенное мнение о БПУ (собирая мнения о преимуществах или недостатках, сильных и слабых сторонах).

D.2 Сценарии для валидации

Сценарии представляют собой описания отобранных эксплуатационных ситуаций, адаптированных к избранному методу валидации. Сценарии должны быть репрезентативными по отношению к реальной станции и охватывать следующие ситуации:

- режимы нормальной эксплуатации (пуск, работа на номинальной мощности и останов) и переходные режимы (остановка турбины, потеря внешних источников энергоснабжения, полное отключение станции);

- отказ измерительных устройств (блоков логики и управления, отказоустойчивых контроллеров, локальных блоков для мультиплексных систем, контроллера);

- множественные отказы оборудования и системы обработки данных (потеря устройств визуального отображения, результатов обработки данных, экрана коллективного пользования с обобщенной информацией);

- аварии (разрыв главного паропровода, внесение положительной реактивности, ввод управляющего стержня без отключения электропитания, выброс управляющего стержня, ситуации с отказом срабатывания аварийной защиты, аварии с потерей теплоносителя различного масштаба).

В сценариях описывают начальные условия, надлежащую последовательность реакций со стороны станции и соответствующие симптомы. В сценариях следует придерживаться закономерного развития событий при управлении станцией, чтобы можно было использовать соответствующие критерии оценки.

В ходе валидации оценивают способы использования оборудования БПУ и встречающиеся на этом пути трудности. Отбираемые для этого ситуации должны охватывать различные режимы. В зависимости от используемых средств для проведения оценки, перечисленных в 4.6.6 настоящего стандарта, эти ситуации могут быть разными, но в любом случае они должны соответствовать поставленной задаче. Контроль характеристик в тестовых ситуациях очень важен для дальнейшей работы, так как это позволяет для каждого оцениваемого направления установить четко обозначенные связи между осуществляемым действием и контекстом задачи, которую нужно выполнить.

При проведении тестов с использованием прототипа с тренажером тестируемые ситуации отбирают не только с учетом возможных состояний технологического процесса, но делая упор на их влияние на деятельность операторов. Определение сценариев, репрезентативно представляющих ситуации на станции, проводят с учетом различных аспектов деятельности операторов.

Вот почему предпочтительно отделять оценку эргономических характеристик от оценки сугубо функциональных качеств, для которой требования к сценарию, вероятно, будут другими.

Действительно, учитывая, что цель оценки функциональных качеств состоит в том, чтобы убедиться, что надлежащее использование средств БПУ делает управление любыми ситуациями технически возможным, необходимо подвергнуть испытанию по возможности наиболее широкий спектр эксплуатационных ситуаций, чтобы установить способность системы реагировать на них самым разным образом.

Подобное полное исследование эксплуатационных ситуаций трудно сочетается с отбором репрезентативных сценариев для оценки эргономических характеристик. Кроме того, трудно быть уверенным в статистической значимости результатов и учесть индивидуальные особенности поведения людей.

Такая несовместимость может увеличить количество необходимых ситуаций и соответственно число примеров, подлежащих тестированию.

D.3 Данные и их обработка

Оценка различных параметров основана на сборе и обработке данных проведенных тестов.

Данные преимущественно получают при использовании человеко-машинного интерфейса, но может быть также использован справочный материал в виде соответствующих стандартов и рекомендаций.

Состав получаемых данных зависит от используемых для оценки средств (технические требования, модельный стенд, прототип, реальный БПУ). Детали результатов, а также цель оценки и данные, доступные оператору, могут меняться по мере разработки проекта.

Если оценку технических характеристик человеко-машинного интерфейса выполняют на предварительной стадии проектирования, то проверить поведение пользователей невозможно. Оценку можно проводить только на соответствие эргономическим стандартам силами специалистов по эргономике, используя регламентированный перечень наиболее важных параметров, подлежащих оценке. На этой стадии используемые данные в значительной степени являются качественными, а оценка основана на экспертных решениях. Результат зависит от способности эксперта выявить потенциальные проблемы на основе анализа технических требований. Он должен найти отклонения и, если необходимо, дать рекомендации.

На заключительных этапах проектирования оценка основана на использовании операторами средств БПУ, на поставленных задачах и наборе данных, полученных при наблюдении за поведением и действиями операторов, а также мнений и поясняющих комментариев, полученных при опросе операторов.

Фактически необходимо собирать следующие пять видов данных:

- данные об условиях, в которых выполнена оценка (параметры, характеризующие имитируемую ситуацию и операторов);

- данные об использованных воздействиях на технологический процесс (эффективность функционирования АС, ошибки);

- данные об использовании интерфейса (отслеживание манипуляций с интерфейсом, регистрация информации);

- данные о наблюдаемом поведении (переговоры, направление взгляда, перемещения, рабочие позы, комментарии);

- данные о восприятии пользователей, запись мнений, высказанных в ходе опросов.

Собранные данные могут быть детализированы или структурированы. Регистрируемые в процессе оценивания данные могут постепенно становиться все более и более структурированными по мере того, как проблемы использования интерфейса становятся более четкими.

Может возникнуть необходимость дополнить эти данные результатами отдельных частных тестов, чтобы оценить некоторые параметры, которые трудно выделить при проведении комплексных тестов (тест на запоминание, тест способов кодирования).

Накапливаемые данные могут быть подразделены на объективные данные (например, время выполнения задачи) и субъективные данные (например, принимаемые персоналом решения). Эти две категории являются взаимодополняющими и образуют две разные точки зрения на одну и ту же реальность.

Объективные данные (или результаты наблюдений) дают возможность интегрировать информацию, полученную другими средствами (мнения операторов, впечатления экспертов), выявить некоторые необнаруженные другими способами явления или убедиться в достижении цели. Напротив, субъективные данные помогают объяснить типы поведения, наблюдаемого во время тестов, или дают возможность исследовать одни сложные проблемы и обнаружить другие. Например, чрезмерное интенсивное ведение диалога с компонентами системы не обязательно является признаком хорошо сбалансированного проекта, особенно если этот диалог является обязательным из-за отсутствия других способов работы. Это тот самый случай оценивания определенных когнитивных параметров, для которых трудно найти подходящие объективные данные, регистрируемые в ходе наблюдения, поэтому в качестве основы можно взять данные, полученные в ходе опроса.

Выбор параметров осуществляют в соответствии с изучаемыми проблемами, точностью воспроизведения БПУ и должностью персонала, участвующего в исследовании. Валидацию проводят как на основе субъективных данных, так и на основе объективных показателей, которые должны дополнять субъективные оценки функциональных характеристик системы. Надежность и обоснованность субъективных параметров следует устанавливать до их применения в реальных экспериментах по валидации. Для этого следует использовать стандартные психометрические методы (например, анализ корреляции экспертных суждений).

Рекомендуется использовать научные методы обработки и анализа данных. Их необходимость возрастает, когда обработке подлежат большие объемы данных, которые могут оказаться непригодными для использования без применения таких методов.

Собранные количественные показатели следует хранить в базе данных для дальнейшей компьютерной обработки методами математической статистики.

Рекомендуется, чтобы определение подлежащих сбору данных и процедур их обработки выполнялось логически последовательно и априори было встроено в общий процесс, включающий в себя:

- определение целей оценки;

- определение предмета валидации или характеристик, подлежащих оценке;

- определение данных, которые нужно собрать;

- определение процедур обработки собранных данных;

- реальный сбор данных;

- обработку данных и интерпретацию результатов.

Все данные должны быть структурированы, что позволит их сравнивать и проводить перекрестный анализ, необходимый для эргономической экспертизы по направлениям, определенным в предшествующих разделах.

Рекомендуется, чтобы на самой ранней стадии данного этапа состоялись консультации специалистов по эргономике и математической статистике, которые помогут осуществить выбор данных и их структурирование в табличной форме в зависимости от предстоящего анализа, а затем провести их обработку.

Данные подвергают анализу следующими методами:

- простая сортировка и представление данных в виде, удобном для анализа определенного события;

- статистический подход, позволяющий выполнить макроскопический анализ явлений;

- эвристический подход, дающий возможность обнаружить наличие явления или элементов информации, касающихся оцениваемой характеристики;

- целенаправленный подход для лучшего понимания определенного явления.

D.4 Пример применения

Может быть приведен простой пример: задача состоит в том, чтобы проверить, является ли большая обзорная мнемосхема полезной или даже необходимой для смены.

Ситуации и сценарии определяют в соответствии с назначением данной мнемосхемы. Различными ситуациями могут быть, например, стабильные режимы работы, аварийные условия, потеря автоматизированных рабочих станций.

В качестве объективных данных, подлежащих обработке, определены, например, число взглядов, бросаемых операторами на мнемосхему, и число обменов информацией между операторами.

В ходе прохождения тестовых сценариев эти данные собирают (вручную или автоматически, если это возможно) и обрабатывают в базе данных.

Во время опросов, проводимых после прогона сценариев, собирают субъективные данные, которые по возможности сравнивают с объективными данными. Например, оператор может заявить, что большая обзорная мнемосхема вообще бесполезна, однако при этом он каждую минуту бросал на нее взгляд, используя ее для наблюдения за изменением состояния определенного участка.

D.5 Преимущества и недостатки данного метода оценки

Описанный метод имеет целый ряд преимуществ:

- в части организации человеческих и технических ресурсов, используемых для оценки:

1) такая организация дает возможность собрать вместе средства для проведения эргономической экспертизы работ;

2) может быть обосновано определенное число осуществленных ранее капиталовложений (число тестов, количество смен, тип средств сбора данных);

- в части координации наблюдателей:

1) этап наблюдения дает возможность специалистам по эргономике, инженерам и разработчикам, чьи методы и ожидания отличаются друг от друга, собраться вместе для координации своей деятельности;

2) каждый из них может принять участие в оценке по всем направлениям от начала до конца;

3) данный общий подход дает каждому из них возможность найти то, что им необходимо для анализа, ориентированного на их собственные интересы;

- в части формирования средств наблюдения: средства для сбора данных в ходе этапов наблюдения или опроса могут быть определены заблаговременно;

- в части реализации и определения последовательности различных стадий данного этапа: первоначальное разделение исследования на направления дает возможность определить, какой этап оценки следует проводить и затем способствовать применению ее результатов в соответствии с определенной хронологией описания направлений в черновом отчете.

В то же время указанные характеристики метода могут привести к определенному числу ошибок и сложностей:

- в части сбора данных и их анализа:

1) использование шаблона, принятого для анализа результатов, может привести к их неправильной интерпретации. В этом случае существует риск, что на эту интерпретацию могут оказать влияние предположения о вероятной будущей работе. Эргономисты, а также другие специалисты, привлекаемые к проведению оценки, могут выдвигать такие предположения на подготовительной стадии;

2) может возникнуть ограничение, предотвращающее появление проблемы или характерной особенности, обнаруженных во время оценивания, которые не были учтены на подготовительной стадии;

- в части полноты метода: в ходе применения метода важно оставить возможность корректировки вариантов, что позволит исследовать те аспекты, для которых первоначально не предусматривались средства оценивания (например, тестирование запоминания способов кодирования), и гарантировать всесторонний охват данной области;

- в части разделения по направлениям: неоднородность направлений анализа. Сравнение направлений показывает, что некоторые из них являются специфичными и их определение правильно отражает пределы области их оперативного действия, т.к. они касаются конкретных объектов оценки (проведение измерений, двусторонняя связь, взаимодействие человек-машина), тогда как другие направления (визуальные, когнитивные аспекты, вопросы групповой работы) пересекаются, поскольку их необходимо исследовать совместно с каждым из остальных направлений (в качестве примера такого направления можно привести когнитивные аспекты использования интерфейса).

Важно сознавать это отсутствие однородности, главными неудобствами которого могут быть:

- неспособность гарантировать совместимость направлений, дающую возможность повысить качество результатов и избежать противоречий;

- трудности в достижении конечной цели воспроизведения деятельности в целом;

- трудности при обобщении различных направлений.

Подход, основанный на разделении анализа по направлениям, требует, чтобы результаты оценивания были в конечном итоге реструктурированы и обобщены. Это не всегда легко сделать, особенно если оценку ситуаций осуществляют с использованием прототипа БПУ.

В этом случае трудно воссоздать деятельность в целом, т.к. переменные, характеризующие тестируемые ситуации, весьма многочисленны, и поэтому ими трудно управлять в рамках строгого планирования эксперимента.

Для того, чтобы уменьшить остроту этих двух проблем, может возникнуть необходимость создавать рабочие группы, уделяя предпочтительное внимание именно их решению, например группу по сигналам, группу по оперативной конфигурации, группу по компоновке рабочего места, а также группу, в которую входят специалисты по каждому направлению.

Создание таких рабочих групп обеспечит возможность объединения направлений по отдельным объектам, а также позволит решить указанную проблему путем интеграции различных сторон эксплуатационной деятельности, возникших в результате разделения на первичные составляющие, исследуемые разными направлениями.

Каждый раз необходимо ставить вопрос, обеспечивает или не обеспечивает выбранный метод оценки изначально проблемно-ориентированный подход, учитывая при этом, что трудно определить эти проблемы априори. Более того, время, затрачиваемое на проведение оценки, также следует рассматривать как возможный проблемный фактор.