Приложение В (справочное). Пример отчета об испытании удобства использования

Приложение В
(справочное)

Пример отчета об испытании удобства использования

В.1 Общая информация

В настоящем приложении приведен пример отчета об оценке.

Поскольку порядок, в котором должны располагаться разделы и элементы в отчете об оценке, не предписан, этот пример демонстрирует, что нет необходимости следовать порядку, в котором элементы содержимого были представлены в настоящем стандарте. Однако в отчет необходимо включить все необходимые элементы для соответствия. В отчете об оценке также показано, что группировка самих элементов содержимого может быть определена автором отчета (например, объединение информации, такой как методы и процедуры, в один раздел отчета об оценке). Все заголовки, представленные в настоящем стандарте, были включены в отчет, хотя они не содержат подробной информации или в некоторых случаях включают повторение материала. Нет необходимости использовать все рекомендуемые заголовки в каждом отчете об оценке.

Оценки часто содержат более одного типа оценки, как в данном примере оценки (например, наблюдения за пользователями и последующий опрос пользователей). Элементы содержимого для каждого раздела отчета об оценке определяются типом(ами) проведенной оценки. В результате, в данном примере отчета об оценке содержатся элементы содержимого, как для наблюдения за пользователями, так и последующего опроса пользователей. "Опрос пользователей" в этом примере использует словесные комментарии, сделанные участниками при завершении каждого испытания в качестве основы для оценки. Данные, результаты и рекомендации обоих типов оценки представлены вместе в соответствующих разделах отчета.

В этом примере использованы сноски, определяющие соответствующие таблицы в настоящем стандарте, которые применяются к данному разделу, и демонстрируют, что в примере отчета содержатся все необходимые элементы для соответствия.

Это приложение было адаптировано из отчета об оценке, представленного UXQB - Международной квалификационной коллегией по вопросам удобства использования и пользовательского опыта. Названия веб-сайтов и другая определяющая информация (например, рисунки и скриншоты) были изменены или устранены для анонимности.

Примечание - Этот пример не является полным отчетом. Он не включает в себя все результаты или цифры, которые упомянуты в примере.

В.2 Отчет об испытании удобства использования веб-сайта rentmytruck

В.2.1 Резюме ¹⁾

------------------------------

¹⁾_{Соответствует таблице 3 в отношении наблюдения за поведением пользователей и опросом пользователей.}

------------------------------

Текущая версия www.rentmytruck.com была проверена на удобство использования в марте 2011 года пятью членами целевой группы. Оценка была основана на наблюдении за поведением пользователей и комментариях участников после выполнения семи тестовых задач. Участники ответили на множество вопросов о себе в конце теста. Метод испытания - не редактируемое удаленное испытание удобства использования, где типичные пользователи (участники испытания) выполняли задачи, пока их действия и то, что они сказали, записывались. Экран и аудиозапись сессий испытаний были проанализированы специалистами по удобству использования после проведения испытания.

Цель состояла в том, чтобы определить достоинства и недостатки удобств использования веб-сайта rentmytruck. В этом отчете описываются результаты испытания и рекомендации.

Основные положительные результаты в отношении удобства использования для www.rentmytruck.com:

- Кнопка "Назад" всегда работает без проблем.

Участники испытания всегда получали то, что ожидали, когда они нажимали кнопку "Назад" в своем браузере.

На некоторых сопоставимых веб-сайтах кнопка "Назад" не всегда работает согласно ожиданиям пользователей.

- Веб-сайт сохраняет содержимое корзины.

Все товары всегда оставались в корзине участников. На некоторых сопоставимых веб-сайтах существует тайм-аут, который очищает корзину и просит участников начать все заново. Если даже на указанном веб-сайте существует ограничение по времени, ни один из наших участников испытания его не обнаружил.

Основные области, над которыми необходимо работать, для www.rentmytruck.com:

- Пользователи могут арендовать грузовые автомобили без оплаты страхования повреждения.

Несколько участников арендовали грузовой автомобиль, не увидев страницы об оплате страхования повреждения. Аренда по умолчанию включала отсутствие страхования повреждения, и веб-сайт не просил их сделать выбор.

- Не отображаются налоги, сборы и общая стоимость.

Участники хотели узнать полную стоимость аренды. Веб-сайт показывает только то, что пользователи должны заплатить в магазине, за исключением налогов и сборов. Участники были недовольны тем, что не смогли увидеть общую стоимость в корзине. Они были еще более недовольны, когда узнали, что они не могут увидеть общую цену на странице подтверждения заказа.

В.3 Результаты ¹⁾

------------------------------

¹⁾_{Соответствует таблицам 13 и 14 в отношении наблюдения за поведением пользователей и опросом пользователей.}

------------------------------

В.3.1 Общая информация

В.3.1.1 Положительные результаты удобства использования

- Кнопка "Назад" всегда работает без проблем.

Участники испытания всегда получали то, что ожидали, когда они нажимали кнопку "Назад". На некоторых сопоставимых веб-сайтах кнопка "Назад" не всегда работает согласно ожиданиям пользователей.

- Веб-сайт сохраняет содержимое корзины.

Все товары всегда оставались в корзине участников. На некоторых сопоставимых веб-сайтах существует тайм-аут, который очищает корзину и просит участников начать все заново. Если даже на указанном веб-сайте существует ограничение по времени, ни один из наших участников испытания с ним не столкнулся.

В.3.1.2 Проблемы удобства использования

- В информационном разделе сайта, посвященному часто задаваемым вопросам, используется сленг без объяснений.

В информационном разделе сайта, посвященному часто задаваемым вопросам, используется сленг без объяснений: примеры терминов, которые путали участников испытания, например, отказ от страхового покрытия ущерба, медицинское страхование жизни, страхование ответственности. Комментарии пользователей включают в себя:

"Было бы неплохо, если бы здесь было немного больше информации, чтобы я мог разобраться в этом".

[В информационном разделе сайта, посвященному часто задаваемым вопросам,] должное пояснение отсутствует".

Рекомендации:

- Необходимо сделать термины, которые трудно понять, интерактивными. Когда пользователи нажимают на эти термины на экране, то на нем показывается всплывающее окно, которое объясняет смысл с помощью общеизвестных терминов и примеров.

В.3.2 Аренда грузового автомобиля

В.3.2.1 Положительные результаты удобства использования

- Участники испытания легко поняли, как цена на грузовой автомобиль зависит от его размера.

См. пример на рисунке 1 (не включен в приложение).

В.3.2.2 Проблемы удобства использования

- Общая стоимость не показывается на странице подтверждения заказа.

Участники испытания были недовольны тем, что не смогли увидеть общую стоимость в корзине. Они были еще более недовольны, когда узнали, что они даже не могут увидеть общую цену на странице подтверждения заказа. См. рисунок 3 (не включен в приложение). Комментарии пользователей включают в себя:

"Сегодня сбор составляет 30, 45 долларов. Откуда он взялся? Было бы неплохо, если бы они дали мне знать, какие сборы включены сюда".

"Где моя окончательная цена?"

Рекомендации:

- В корзине и на странице оформления заказа необходимо указать текущие сборы, а также общую стоимость заказа, включая плату за аренду грузового автомобиля.

- Следует указать цены как с учетом налогов, так и без них. Если нет места для обоих цен, необходимо исключить цены без налогов.

- Следует запросить у пользователя ожидаемую дату окончания аренды, включенную в предложение. Чтобы вычислить общую стоимость аренды, следует использовать дату окончания аренды.

- Следует сделать систему подсчета итоговой или промежуточной цены на веб-сайте полностью понятной. Если недостаточно места для полной информации, следует добавить ссылку для разъяснения рядом с итоговой или промежуточной ценой. По этой ссылке необходимо указать полную информацию.

В.3.3 Страхование

В.3.3.1 Положительные результаты удобства использования

- ...

В.3.3.2 Проблемы удобства использования

- ...

В.4 Описание объекта оценки ¹⁾

------------------------------

¹⁾_{Соответствует таблице 4 в отношении наблюдения за поведением пользователей и опросом пользователей.}

------------------------------

Сайт, который подвергался оценке, www.rentmytruck.com был доступен пользователям в марте 2011 года. Домашняя страница веб-сайта во время испытания показана на рисунке 11 (не включен в настоящее приложение).

Целевой группой веб-сайта являются лица, которые имеют действующие водительские права и которые намерены арендовать грузовой автомобиль для местного или междугороднего передвижения.

Веб-сайт также продает и арендует материалы и инструменты для грузовых автомобилей. Он также обеспечивает место для хранения.

Участникам испытания было предложено воздержаться от размещения заказов. Помимо этого, ограничения веб-сайт был полностью в их распоряжении.

Веб-сайт предназначен для использования в типичной офисной или домашней среде рабочего стола.

В.5 Цель оценки ²⁾

------------------------------

²⁾_{Соответствует таблице 5 в отношении наблюдения за поведением пользователей и опросом пользователей.}

------------------------------

Цель состояла в том, чтобы определить достоинства и недостатки удобства использования веб-сайта rentmytruck.

В.6 Метод оценки

В.6.1 Обзор метода оценки ³⁾

------------------------------

³⁾ Соответствует таблицам 6 и 7 в отношении наблюдения за поведением пользователей и опросом пользователей.

------------------------------

В.6.1.1 Общая информация

Оценка удобства использования была сосредоточена на наблюдении за поведением пользователей. Это испытание удобства использования было проведено как не редактируемое удаленное испытание удобства использования компанией, предоставляющей "услугу по удаленному испытанию удобства использования". Эта компания специализируется на не редактируемых испытаниях удобства использования с пользователями, набираемыми с их пользовательской базы. В не редактируемом испытании удобства использования за пользователями не ведется наблюдение в режиме реального времени, пока они выполняют задачи. Вместо этого их взаимодействие с веб-сайтом и их словесные комментарии записываются для последующего анализа.

Пять пользователей выполнили семь заданий на веб-сайте в ходе отдельных сессий испытаний. В конце каждого сеанса испытаний они ответили на ряд определенных вопросов о себе.

Впоследствии видео- и аудиозаписи были проанализированы тремя независимыми исследователями удобства использования. Каждый из них определил проблемы и сильные стороны удобства использования, а также основные недостатки удобства использования. Затем они рассмотрели отдельные результаты и согласовали обобщенный набор результатов удобства использования.

В.6.1.2 Методическая основа

В этом испытании удобства использования осуществлялось наблюдение за поведением пользователей, о чем свидетельствует запись данных с экрана. Это позволило выявить успешное выполнение задач вместе с проблемами, возникающими при их выполнении. Кроме того, в качестве основы для "опроса пользователей" использовался признанный метод "мышления вслух". Этот метод описан, например, Думасом и Редишем (1999) "Практическое руководство по испытанию удобства использования" и Хартсоном и Пулой (2012) "Книга об оценке взаимодействия пользователей с приложением".

В.6.1.3 Сессии испытаний

Оценка основана на анализе записей данных с экрана в рамках пяти не редактируемых сессий испытаний www.rentmytruck.com, проведенных в конце марта 2011 года с помощью "услуг удаленного испытания удобства использования", а также анализа аудиозаписей комментариев пользователей.

Каждая сессия испытаний длилась от 13 минут до 23 минут. Общее время каждой сессии испытаний, включая ответы на вопросы, составляло менее 30 минут.

В.6.1.4 Целевая группа для системы

Целевой группой веб-сайта являются лица, которые имеют действительные водительские права и которые хотят арендовать грузовой автомобиль для местного или междугороднего перемещения. Целевая группа включает значительную часть взрослого англоязычного населения США. Ожидается, что целевая группа будет иметь некоторые знания о компьютерах и Интернете, но им не обязательно быть профессионалами в области компьютеров.

Таблица В.1 - Результаты испытания удобства использования для каждого участника испытания

Участник	Пол	Возраст	Занятие	Навыки работы с компьютером
1	М	24	Миссионер	Средние
2	М	52	Управляющий небольшого предприятия	Средние
3	Ж	62	Пенсионер. Ранее - продюсер телевизионных новостей, а затем лицензированный помощник юриста	Средние
4	Ж	36	Домохозяйка	Средние
5	М	31	Продажи и маркетинг	Средние

В.6.1.5 Набор пользователей

Все участники испытания были наняты компанией, предоставляющей "услуги по удаленному испытанию удобства использования", которая специализируется на автоматическом испытании удобства использования. Были представлены оба пола. Участники испытаний должны были иметь действительные водительские права и рассматривать возможность аренды грузового автомобиля. В остальном, на набор участников не накладывались никакие ограничения.

В.6.2 Сценарий для испытания удобства использования ¹⁾

------------------------------

¹⁾_{Соответствует таблицам 8 и 10 в отношении наблюдения за поведением пользователей и опросом пользователей.}

------------------------------

В.6.2.1 Инструктирование

Компания, предоставляющая "услуги по удаленному испытанию удобства использования", не публикует инструкции для участников испытания перед сеансом испытания удобства использования.

В.6.2.2 Общие инструкции, данные пользователям

Каждому пользователю были даны онлайн инструкции для каждой из семи задач. Их попросили выполнить задачу с условием устно описать любые проблемы, которые они заметят.

В.6.2.3 Задачи испытания

Задачи испытания были определены для проверки наиболее часто встречающихся задач на веб-сайте на основе статистики сайта. Задачи были рассмотрены специалистом по работе с пользователями, работающим на rentmytruck, и несколькими независимыми профессионалами в области удобства использования. Удобства использования тестовых заданий и инструкций для участников испытания в автоматическом испытании были испытаны дважды. После этого тестовые задачи и инструкции были улучшены на основе обратной связи.

Для всех сессий был использован следующий набор задач. Задачи выполнялись в том же порядке каждым участником:

Сценарий. Ваши друзья Майк и Анна собираются переехать из Питтсбурга, штат Пенсильвания в Денвер, штат Колорадо. У них есть квартира в Питтсбурге, состоящая из гостиной, спальни, кухни и ванной комнаты. Они хотят найти самый дешевый сервис для переезда в Колорадо. Они ожидают, что переедут с помощью нескольких друзей.

Они планируют выехать 14 апреля и ожидают, что поездка займет три дня.

Пары планируют вернуться в Питтсбург через два года, поэтому они хотят арендовать место для хранения в Питтсбурге вещей, которые не будут им нужны в Денвере.

Задача 1. Паре нужен грузовой автомобиль, который подходит для всей мебели и вещей в их трехкомнатной квартире. Пожалуйста, просчитайте общую сумму, которую пара должна будет заплатить за грузовой автомобиль.

Примечание - Они выезжают 14 апреля с ХХХ1 Роад в Питтсбурге, РА 15217 и едут на ХХХ2 Стрит в Денвере, СО 80218.

Ожидаемый ответ. Согласно rentmytruck, требуется грузовой автомобиль длиной 14 футов. Цена грузовика составляет 16165 долларов США плюс стоимость страхования в размере 196 долларов США, плюс экологический сбор в размере 5 долларов США. Налоги не включены. Ставка налога, похоже, не доступна на веб-сайте.

Задача 2. Прежде чем двигаться дальше, вы хотите проверить, нужны ли Майку и Анне специальные водительские права для вождения грузового автомобиля по всей стране. Где вы найдете эту информацию?

Ожидаемый ответ. Согласно информационному разделу сайта, посвященному часто задаваемым вопросам, "Нужны ли мне специальные водительские права?", стандартных водительских прав достаточно.

Задача 3. Они также нуждаются в помещении для хранения их вещей в Питтсбурге, в котором может поместиться 10 выдвижных коробок (18 x 18 x 16 дюймов) и большой холодильник. Рассчитайте стоимость хранения в месяц.

Ожидаемый ответ. Цена хранения в XXX Self Storage, 1-й этаж, 5 футов x 5 футов x 8 футов в течение 24 месяцев, составляет 59 долларов США в месяц.

Задача 4: [...]

Ожидаемый ответ: [...]

Задача 5: [...]

Ожидаемый ответ: [...]

Задача 6: [...]

Ожидаемый ответ: [...]

Задача 7: [...]

Ожидаемый ответ: [...]

В.6.2.4 Завершение задачи

Каждая задача считалась завершенной, как только каждый из участников испытания переходил к следующей задаче. (Поскольку модератор не присутствовал, было невозможно помочь участникам, если они застряли или пришли к неправильному ответу.)

В.6.2.5 Вопросы после сессии

После каждой сессии испытаний из участников испытания ответил на несколько вопросов, в том числе следующие:

- Вы мужчина или женщина?

- Сколько вам лет?

- Вы когда-нибудь арендовали грузовой автомобиль у этой компании?

- Где вы живете (город, штат)?

- Кем вы работаете?

- Как бы вы оценили свои знания компьютера?

- Вы проходили испытание дома или на рабочем месте или в другом месте (если в другом месте, укажите)?

- Какой тип устройства вы использовали, настольный компьютер или ноутбук (производитель и модель)?

- Какой браузер вы использовали (включая версию)?

В.7 Выводы по каждому участнику испытания ¹⁾

------------------------------

¹⁾_{Соответствует таблице 12 в отношении наблюдения за поведением пользователей и опросом пользователей.}

------------------------------

Для каждого участника испытания в таблице В.2 приведен анализ наблюдаемой производительности участника испытания по каждой задаче.

Задачи оценивались следующим образом.

- Задача была решена правильно без проблем; оценка - 1.

- Возникли проблемы, которые задерживали участника испытания при выполнении задачи; оценка - 2.

- Участник испытания столкнулся со значительными проблемами, но в итоге ему удалось правильно выполнить задачу; оценка - 3.

- Участник испытания не смог выполнить задачу или пришел к результату, который значительно отклонился от правильного результата; оценка - 4.

Таблица В.2 - Анализ наблюдаемой производительности участника испытания

Участник	1	2	3	4	5
Задача 1. См. примечания. Цена аренды грузового автомобиля от Питтсбурга до Денвера	3	1	4	3	3
Задача 2. Проверка необходимости наличия специальных водительских прав	1	1	1	1	1
Задача 3. См. примечания. Стоимость помещения для хранения вещей	1	3	3	3	3
Задача 4. Номер телефона ближайшего офиса rentmytruck	1	1	1	1	2
Задача 5. См. примечания. Аренда грузового автомобиля и покупка средств для переезда	4	4	4	4	4
Задача 6. См. примечания. Ответственность за затраты на ремонт	4	4	2	1	4
Задача 7. Найти ближайший офис rentmytruck	1	1	4	2	1

Примечания к выводам

Проблема в задаче 1. См. следующие выводы в разделе 1:

- недостаточная помощь при выборе правильного размера грузового автомобиля;

- неточная стоимость при наличии информации о пробеге;

- не отображаются налоги и сборы;

- не показывается общая стоимость; сайт показывает только ту сумму, которую пользователь следует заплатить в магазине.

Проблема в задаче 3. См. следующие выводы в разделе 1:

- не предлагается никакая помощь в выборе правильного размера места хранения.

Проблема в задаче 5. См. следующие выводы в разделе 1:

- адекватное страхование ответственности не распространяется на все виды передвижений;

- пользователи могут арендовать грузовые автомобили без оплаты страхования.

Проблема в задаче 6. См. следующие выводы в разделе 1:

- неясно, распространяется ли страхование на вандализм;

- неясно, существует ли залог.