Приложение В (справочное). Примеры измерения показателей пригодности использования

Приложение В
(справочное)

Примеры измерения показателей пригодности использования

В.1 Полная пригодность использования

При оценке пригодности использования измерения результативности, эффективности и удовлетворенности пользователя могут быть установлены для общих целей (например, печать письма) или более узких целей (например, выполнение поиска и замены буквы при печати). Выбор измеряемой характеристики показателей пригодности использования только для самых важных пользовательских целей может привести к игнорированию рассмотрения многих рабочих функций, но такой подход является самым практичным. Примеры соответствующих характеристик приведены в таблице В.1.

Таблица В.1 - Примеры измеряемых характеристик показателей пригодности использования

Цели пригодности использования	Измеряемая характеристика результативности	Измеряемая характеристика эффективности	Измеряемая характеристика удовлетворенности
Полная пригодность использования	Процент достигнутых целей	Время выполнения задачи. Производительность	Рейтинговая шкала для оценки удовлетворенности
	Процент пользователей, успешно выполнивших задачу	Денежное выражение затрат на выполнение задачи	Частота использования продукции по собственному усмотрению
	Точность, с которой были выполнены задачи		Частота обращений с жалобами

В.2 Измерение требуемых свойств продукции

Для отдельных свойств продукции, оказывающих влияние на пригодность использования, могут потребоваться дополнительные измерения. Примеры некоторых из этих свойств и дополнительных измерений приведены в таблице В.2. Кроме того, соответствующие измеряемые характеристики показателей пригодности использования, приведенные в таблице В.1, могут также быть использованы для целей в области пригодности использования, установленных в таблице В.2.

Таблица В.2 - Примеры измерений свойств продукции

Цели в области пригодности использования	Измеряемая характеристика результативности		Измеряемая характеристика эффективности	Измеряемая характеристика удовлетворенности
1 Удовлетворенность пользователей обучением	Количество выполненных задач с повышенными требованиями к производительности компьютера. Процент использованных релевантных функций		Эффективность по сравнению с высококвалифицированным пользователем	Рейтинговая шкала удовлетворенности возможностями компьютера пользователей
2 Удовлетворенность при первом использовании	Процент задач, выполненных с первой попытки		Время выполнения первой попытки(1). Относительная эффективность первой попытки	Норма произвольного (по собственному усмотрению) использования
3 Удовлетворенность при нечастом использования	Процент задач, успешно выполненных после длительного перерыва в работе		Время, потраченное на переобучение(1). Количество постоянных ошибок	Частота повторного использования
4 Минимизация требований о помощи	Количество ссылок на документацию. Количество обращений за помощью. Количество случаев оказания помощи		Продуктивно затраченное время(1). Время обучения по отношению к необходимому(1)	Рейтинговая шкала удовлетворенности пользователя средствами поддержки
5 Обучаемость		Количество изучаемых функций. Процент пользователей, обращающихся за обучением	Время обучения. Время переобучения. Относительная эффективность обучения	Рейтинговая шкала легкости обучения
6 Устойчивость к ошибкам		Процент ошибок, скорректированных или выявленных системой. Количество допустимых ошибок пользователя	Время, затраченное на исправление ошибок	Рейтинговая шкала обработки ошибок
7 Удобочитаемость		Количество слов, правильно прочитанных с нормального расстояния	Время правильного прочтения определенного количества знаков	Рейтинговая шкала зрительного дискомфорта
(1) В этих примерах ресурсы измеряют по отношению к определенному уровню результативности

В.3 Выбор критериев пригодности использования

Выбор значений критериев для показателей пригодности использования при их измерениях зависит от требований к продукции и потребностей организации, устанавливающей критерии. Цели в области пригодности использования могут соответствовать главной цели системы (например, напечатать письмо), или ее подцелям (например, поиски замена символов) или вторичным целям (например, требованиям обучаемости или адаптируемости). Ориентация целей в области пригодности использования на наиболее важные цели пользователя может привести к игнорированию многих функций системы, но является наиболее распространенным подходом. Однако установка подцелей пригодности использования позволяет провести оценку пригодности использования на более ранних этапах процесса разработки.

Возможны такие ситуации, когда необходимо определить критерии как для минимально допустимого уровня, так и для общего уровня пригодности использования.

Значения критериев могут быть установлены как для всей группы пользователей, и в этом случае значения критериев определяют как средние некоторой характеристики (например, среднее время завершения рабочего задания должно быть не более 10 мин), так и для каждого пользователя (например, все пользователи должны завершить рабочее задание в течение 10 мин) или для определенного процента пользователей (например, 90% пользователей должны завершить рабочее задание в течение 10 мин).

При установке критериев необходимо назначить каждой измеряемой величине определенный вес. Например, при установке критерия, связанного с ошибками, необходимо назначить веса разным типам ошибок, отражающие их относительную значимость.

В.4 Виды измерений

Измерения пригодности использования должны быть основаны на данных, отражающих результаты взаимодействия пользователя с продукцией или рабочей системой. Можно собрать данные объективными средствами, например, с помощью измерений выходных показателей работы системы, скорости ее работы или происходящих с системой событий. Данные могут быть также собраны с помощью экспертного опроса пользователей, выражающих чувства, мнения, отношения или предпочтения. Объективные измерения обеспечивают прямую фиксацию достигнутого уровня результативности и эффективности, тогда как субъективные измерения могут быть напрямую связаны с удовлетворенностью пользователя.

Необходимо отметить, что с помощью объективных или субъективных измерений можно получить данные, касающиеся каждого компонента пригодности использования. Например, удовлетворенность пользователя может быть оценена объективными измерениями поведения пользователей, а оценки результативности и эффективности могут быть получены на основе субъективных мнений пользователей о своей работе и ее результатах.

Обоснованность данных, собранных для оценки уровня достигнутой пригодности использования продукции, зависит от репрезентативности групп пользователей, задач и условий использования, используемых для оценки. В некоторых случаях можно выполнять измерения в условиях эксплуатации, используя реальную рабочую ситуацию как основу для оценки пригодности использования продукции. В других ситуациях можно оценить особенности продукции в лабораторных условиях, устанавливая соответствующие аспекты условий использования репрезентативным и контролируемым способом. Преимущество использования лаборатории в том, что в этом случае открывается возможность осуществить больший контроль над переменными, имеющими критическое воздействие на уровень достигнутой пригодности использования. Кроме того, в лаборатории могут быть выполнены более точные измерения. Недостаток этого подхода состоит в том, что искусственная природа лабораторной среды может привести к ошибочным результатам.

Оценки могут быть проведены на различных стадиях создания системы (в промежуточных состояниях системы) от эксплуатации до лабораторных установок в зависимости от проблем, которые должны быть исследованы, и готовности продукции к испытаниям. Выбор среды тестирования и метода измерений зависит от целей измерений и их взаимосвязи с этапом проектирования.

В.5 Измерения результативности и эффективности

В.5.1 Измерения результативности

Результативность определяют как степень реализации запланированной деятельности и достижения запланированных результатов.

Для того чтобы определить с заданной точностью степень завершенности планового задания путем измерений, необходимо установить критерии, которые можно применять в реальной работе для фиксации успешного достижения заданных целей. Критерии могут быть определены на основе качества и количества полученных результатов, например это может быть заданный формат для выходных документов вместе с количеством и объемом обработанных документов на выходе рабочей системы.

Точность может быть оценена степенью соответствия уровня качества на выходе заданным критериям, а завершенность может быть оценена отношением достигнутого количественного результата к запланированному.

Если требуется оценить только результативность, то можно объединить измерения точности и завершенности. Например, для получения процентного значения результативности, завершенность и точность могут быть выражены в процентах и перемножены [Е.2.2, Е.2.19]. В случае, если нет прямого соответствия между точностью и завершенностью, эти два вида измерений необходимо рассматривать независимо друг от друга.

В.5.2 Измерение эффективности

Эффективность измеряют как связь между достигнутым результатом и использованными ресурсами. Например, эффективность во времени может быть определена как отношение результативности в достижении заданной цели ко времени, затраченному для достижения этой цели. Аналогичные соотношения могут быть применены также к эффективности использования умственной или физической энергии, материалов или финансовых расходов.

В.5.2.1 Рабочая нагрузка

Рабочая нагрузка включает физические и умственные затраты при выполнении задач. При измерении эффективности следует принимать во внимание физические требования, предъявляемые пользователю, вызванные высокой скоростью ввода информации и большой продолжительностью непрерывной рабочей активности.

Мыслительные ресурсы, необходимые для выполнения задач, также могут быть измерены. Чрезмерная, как и недостаточная умственная нагрузка проявляются в том, что их результатом может быть пониженная эффективность, безопасность, проблемы со здоровьем персонала. Задача, требующая слишком малых умственных усилий, может привести к скуке и снижению бдительности, что снижает результативность и эффективность. В таком случае снижение результативности и эффективности должно быть компенсировано за счет повышенных требований. Чрезмерная умственная нагрузка может привести к снижению результативности, выражающемуся в пропущенной информации и появлении ошибок. Эта проблема особенно актуальна в тех ситуациях, когда важна безопасность, например в работе авиадиспетчерской службы или при управлении производственным процессом. Чтобы предсказать такие типы проблем, следует использовать измерения умственной нагрузки.

В Е.2.7, Е.2.14 и Е.2.21 (см. библиографию) приведены примеры анкет, позволяющих оценить умственную нагрузку, влияющую на эффективность.

В.6 Измерение удовлетворенности пользователя

Удовлетворенность пользователя, определяемая как отсутствие дискомфорта и положительное отношение к использованию продукции, является реакцией пользователя на взаимодействие с продукцией. Удовлетворенность пользователя может быть оценена с помощью субъективных или объективных измерений. Объективные измерения могут быть основаны на наблюдении за поведением пользователя (например, за его рабочей позой или перемещением и частотой отлучек при работе) или на мониторинге физиологических реакций пользователя.

Субъективные измерения удовлетворенности пользователя выполняют, определяя уровень субъективных реакций пользователя или его мнение. Этот процесс можно реализовать несколькими способами, например, предлагая пользователю назвать число, соответствующее силе выраженности его ощущений в любой заданный момент времени, или предлагая пользователю проранжировать продукцию в порядке предпочтения или используя шкалу предпочтений, основанную на анкетном опросе.

Правильно разработанные шкалы предпочтений обладают существенным преимуществом, поскольку их можно быстро использовать, результаты их применения имеют известную надежность, и они не требуют специальных навыков для применения. Разработанные анкеты относительно предпочтений, основанные на психометрических методиках, должны и меть известную количественную оценку своей надежности и достоверности и должны быть устойчивы к таким факторам, как, например, неискренние ответы, положительное или отрицательное смещение ответов и социальные ожидания. Они также дают возможность сравнить полученные результаты анкетирования с типичными ответами, полученными в прошлом (см. Е.2.9, Е.2.10 и Е.2.12, где приведены примеры анкет предназначенных для измерения удовлетворенности применяемыми компьютерными системами).