Национальный стандарт РФ ГОСТ Р ИСО/МЭК 25066-2019 "Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке" (утв. и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 16 октября 2019 г. N 1007-ст)

Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). Common Industry Format (CIF) for Usability. Evaluation Report

ОКС 35.080

Дата введения - 1 января 2021 г.
Введен впервые

ГАРАНТ:

Курсив в тексте не приводится

Предисловие

1 Подготовлен Акционерным обществом "Всероссийский научно-исследовательский институт сертификации" (АО "ВНИИС") и Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 Внесен Техническим комитетом по стандартизации ТК 022 "Информационные технологии"

3 Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 16 октября 2019 г. N 1007-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25066:2016 "Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Общий отраслевой формат (CIF) для удобства использования. Отчет об оценке" (ISO/IEC 25066:2016 "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for Usability - Evaluation Report", IDT).

ИСО/МЭК 25066 разработан подкомитетом SC 4 "Эргономика взаимодействия человека и системы" технического комитета ISO/TC 159 "Эргономика" и подкомитетом SC 7 "Системная и программная инженерия" совместного технического комитета ISO/IEC JTC 1 "Информационные технологии"

5 Введен впервые

6 Некоторые положения международного стандарта, указанного в пункте 4, могут являться объектом патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за идентификацию подобных патентных прав

7 Дополнительные сноски в тексте стандарта, выделенные курсивом, приведены для пояснения текста оригинала

Введение

Человеко-ориентированный подход к проектированию, описанный в ИСО 9241-210, хорошо известен и направлен на разработку систем, удобных для использования. Удобство использования может быть достигнуто путем применения разработки, ориентированной на человека, на протяжении всего жизненного цикла. Для того чтобы применять человеко-ориентированный подход, необходимо определить и передать все соответствующие виды информации, связанные с удобством использования (информационные элементы). Определение и передача соответствующих видов информации, связанной с удобством использования, позволяют разрабатывать и проводить испытание удобства использования системы.

Настоящий стандарт определяет основу и согласованную терминологию для составления отчетности об оценке интерактивной системы. Он предназначен для того, чтобы помочь специалистам и разработчикам по человеко-ориентированному проектированию в документировании и передаче информации, связанной с удобством использования, как части жизненного цикла разработки системы.

Общий отраслевой формат (CIF) для семейства международных стандартов по удобству использования описан в ИСО/МЭК ТО 25060, который является частью серии стандартов SQuaRE "Требования и оценка качества систем и программного обеспечения", касающихся требований к системам и программному обеспечению, а также оценке их качества (ИСО/МЭК 25000, ИСО/МЭК 25001, ИСО/МЭК 25021, ИСО/МЭК 25023, ИСО/МЭК 25040, ИСО/МЭК 25041 и ИСО/МЭК 25051).

В семействе стандартов CIF используются определения, совместимые с определениями, которые приведены в стандартах серии ИСО 9241 "Эргономика взаимодействия человека и системы", поскольку эта терминология обычно используется в данной области. В некоторых случаях указанные определения отличаются от определений по ИСО/МЭК 25000.

Стандарты CIF опубликованы или планируются к опубликованию и включают в себя следующие информационные элементы:

- общий отраслевой формат (CIF) отчетов о тестировании удобства использования (ИСО/МЭК 25062);

Примечание - ИСО/МЭК 25062 содержит более подробное описание содержимого отчета о наблюдении за пользователями для измерения их производительности.

- контекст описания использования (ИСО/МЭК 25063);

- отчет о потребностях пользователя (ИСО/МЭК 25064);

- спецификацию требований пользователя (ИСО/МЭК 25065);

- отчет об оценке (ИСО/МЭК 25066);

- спецификацию взаимодействия с пользователем (планируется);

- спецификацию пользовательского интерфейса (планируется);

- отчет о полевых данных (планируется).

Стандарты CIF являются частью раздела "Расширение" серии международных стандартов SQuaRE ИСО/МЭК 25000. В таблице 1 представлен обзор структуры и содержания серии международных стандартов SQuaRE.

Таблица 1 - Организация серии международных стандартов SQuaRE

Архитектура и подпроекты SQuaRE
ИСО/МЭК 2503n: Раздел "Требования к качеству"	ИСО/МЭК 2501n: Раздел "Модель качества"		ИСО/МЭК 2504n: Раздел "Оценка качества"
	ИСО/МЭК 2500n: Раздел "Управление качеством"
	ИСО/МЭК 2502n: Раздел "Измерение качества"
ИСО/МЭК 25050-25099: Раздел "Расширение SQuaRE"
ИСО/МЭК 25051 "Требования к качеству готового к использованию программного продукта (RUSP) и инструкции по проведению испытаний"		ИСО/МЭК 2506n: Раздел "Общий отраслевой формат"

Стандарты, выделенные жирным шрифтом, представляют собой результаты процесса CIF.

Рисунок 1 - Связь документов CIF с деятельностью по человеко-ориентированному проектированию по ИСО 9241-210 и процессами жизненного цикла системы по ИСО/МЭК 15288

На рисунке 1 показана взаимосвязь информационных элементов с деятельностью по человеко-ориентированному проектированию, описанной в ИСО 9241-210, а также соответствующими процессами жизненного цикла системы, определенными в ИСО/МЭК 15288 ¹⁾.

------------------------------

¹⁾_{Заменен на ISO/IEC/IEEE 15288:2015.}

------------------------------

Пояснения, представленные ниже, служат альтернативным описанием рисунка.

Действия на рисунке изображены в виде набора пересекающихся кругов. Пересечение кругов показывает, что действия не являются отдельными, а скорее пересекаются во времени и по объему, и результат каждого действия обеспечивает участие одного или нескольких других действий. Поскольку каждая разработка, ориентированная на человека, может предоставить входные данные для другого вида деятельности, то не подразумевается наличие какой-либо отправной точки, конечной точки или линейного процесса.

Разработка, ориентированная на человека, состоит из четырех взаимосвязанных действий, представленных в виде пересекающихся кругов на диаграмме, где потребности пользователя находятся в центре.

Первое действие включает в себя контекст использования. Разработка, ориентированная на человека, зависит от потребностей пользователя, которые изначально определяются во время анализа контекста использования. Потребности пользователя документируются в Отчете о потребностях пользователя (ИСО/МЭК 25064), являющимся промежуточным и связующим звеном Контекст описания использования (ИСО/МЭК 25063), которое содержит информацию о пользователях, их задачах, организационной и физической среде и требованиях пользователя. Эти элементы разрабатываются во время процесса определения потребностей и требований заинтересованных сторон, описанного в ИСО/МЭК 15288.

Второе действие включает в себя полученные требования. Спецификация требований пользователя (ИСО/МЭК 25065) обеспечивает основу для разработки и оценки интерактивных систем для удовлетворения потребностей пользователей. Требования пользователей разрабатываются в сочетании с общей спецификацией требований интерактивной системы.

Третье действие включает в себя разработанные решения. Деятельность "Представить проектное решение" фокусируется на разработке взаимодействия с пользователем, отвечающего требованиям пользователей. Эта деятельность выполняется во время процессов архитектурного проектирования, реализации и интеграции, описанных в ИСО/МЭК 15288, и создает информационные элементы "Спецификация взаимодействия с пользователем" и "Спецификация пользовательского интерфейса".

Четвертое действие включает в себя результаты оценки. Деятельность "Оценка" начинается на самых ранних этапах проекта и оценивает концепцию разработки, чтобы лучше понять потребности пользователей. Проектные решения могут оцениваться многократно, по мере разработки интерактивной системы, и создавать различные типы отчетов об оценке и данных об удобстве использования, таких как данные, описанные в ИСО/МЭК 25062. Эти оценки могут поддерживать процесс верификации по ИСО/МЭК 15288, который подтверждает, что система соответствует требованиям заинтересованных сторон.

1 Область применения

В настоящем стандарте определен Общий отраслевой формат (CIF) отчетов об оценке удобства использования. Он предоставляет классификацию подходов к оценке и спецификации для элементов содержимого, которые должны быть включены в отчет об оценке на основе выбранного(ых) подхода(ов) к оценке. В стандарте также определены предполагаемые пользователи отчетов об оценке удобства использования, а также ситуации, в которых может применяться отчет об оценке удобства использования.

В настоящем стандарте отчеты об оценке удобства использования применимы к программным и аппаратным системам, продуктам или услугам, используемым для определенных задач (исключая общие продукты, такие как экран дисплея или клавиатура). Элементы содержимого предназначены для использования в качестве части документации системного уровня, являющейся результатом процессов разработки, описанных в стандартах ИСО 9241-210 и ИСО/МЭК JTC 1/SC 7.

Элементы содержимого для документирования оценок могут быть интегрированы в любую модель процесса.

Примечание - В целях создания моделей процессов в ИСО/МЭК ТО 24774 и ИСО/МЭК 33020 устанавливаются требования к формату и моделям процессов соответственно. Кроме того, ИСО/МЭК 15289 определяет типы и содержание информационных элементов, разработанных и используемых в моделях процессов управления жизненным циклом системы и программного обеспечения. ИСО/МЭК 15504-5 и ИСО/МЭК 15504-6 (заменяют ИСО/МЭК 33060) определяют рабочие продукты, включая информационные элементы, для целей оценки возможностей процесса. Модели процессов и связанные с ними информационные элементы для разработки интерактивных систем, ориентированных на человека, содержатся в ISO/TR 18529 и ISO/TS 18152.

2 Соответствие требованиям

Отчет об оценке соответствует требованиям настоящего стандарта, если он содержит все необходимые элементы, представленные в разделе 5, которые применимы к типу(ам) оценки, включая:

- дополнительные необязательные элементы содержимого, которые были выбраны для оценки;

- элементы содержимого для оценки соответствия (если они используются).

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

Примечание - Семейство стандартов CIF использует определения, совместимые с определениями, приведенными в серии стандартов ИСО 9241, поскольку эта терминология обычно используется в данной области. В некоторых случаях эти определения отличаются от определений по ИСО/МЭК 25000.

3.1

доступность (accessibility): Свойство продукции, систем, услуг, сред или сооружений, при наличии которого они могут быть использованы людьми в совокупности с самым широким диапазоном возможностей для достижения установленных целей в определенных условиях использования. Примечание - Условия использования включают в себя непосредственное использование или использование с помощью вспомогательных технологий. [ИСО 26800:2011, статья 2.1; с изменениями, примечание 2 удалено]

3.2

действие (action): Поведение пользователя, которое система принимает в качестве запроса в отношении определенной операции. [ИСО/МЭК ТО 11580:2007, статья 2.3; с изменениями, пример удален]

3.3

оценка соответствия (conformity assessment): Доказательство того, что заданные требования к продукции, процессу, системе, лицу или органу выполнены. [ИСО/МЭК 17000:2004, статья 2.1; с изменениями, примечания удалены]

3.4

условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используют продукцию. [ИСО 9241-11:1998, статья 3.5] 1)

------------------------------

¹⁾_{Заменен на ИСО 9241-11:2018.}

------------------------------

3.5

диалог (dialogue): Взаимодействие между пользователем и интерактивной системой, рассматриваемое как последовательность действий пользователя (входы) и ответных реакций системы (выходы), направленное на достижение установленной цели. Примечания 1 Действия пользователя включают в себя не только ввод данных, но также действия по перемещению данных. 2 Понятие диалога охватывает как форму (порядок), так и смысл (семантику) взаимодействия. [ИСО 9241-110:2006, статья 3.2]

3.6

эффективность (efficiency): Связь между достигнутым результатом и использованными ресурсами. [ИСО 9241-11:1998, статья 3.2]

3.7

результативность (effectiveness): Степень реализации запланированной деятельности и достижения запланированных результатов. [ИСО 9241-11:1998, статья 3.3]

3.8

цель (goal): Предполагаемый результат. [ИСО 9241-11:1998, статья 3.8]

3.9

информационный элемент (information item): Отдельно определяемый объем информации, который создается и хранится для использования человеком в течение жизненного цикла системы или программного обеспечения. [ISO/IEC/IEEE 15289:2011, статья 5.7] 1)

------------------------------

¹⁾_{Заменен на ISO/IEC/IEEE 15289:2015.}

------------------------------

3.10 оценка на основе проверки (inspection-based evaluation): Оценка, основанная на суждении одного или нескольких оценщиков, которые изучают или используют систему для выявления потенциальных проблем удобства использования (включая отклонения от установленных критериев).

Примечания

1 Оценщики, выполняющие проверки, обычно являются специалистами по удобству использования, но могут также включать в себя конечных пользователей и членов команды разработчиков.

2 Установленные критерии обычно включают в себя требования пользователей, руководящие принципы удобства использования, указанные в стандартах, соглашения о разработке, содержащиеся в инструкциях производителя и руководствах по стилям, поддерживаемые модели задач, а также стандартизированные принципы.

3 Оценка может проводиться с помощью справочных документов или без них.

4 Оценка на основе проверки является общим термином для методов, которые включают, помимо прочего, эвристическую оценку, когнитивный критический анализ, проверку стандартов, свободный критический анализ, пошаговые руководства и проверки согласованности.

5 В некоторых случаях, оценка на основе проверки может проводиться машинным оборудованием, например, когда оценивается согласованность с требуемой терминологией. В этом случае машинное оборудование является оценщиком.

3.11

требование (requirement): Условия или возможности, которые должны выполняться или входить в систему, системный компонент, продукт или услугу для соответствия соглашениям, стандартам, спецификации или другим формальным документам. [ISO/IEC/IEEE 24765:2010, статья 3.2506, раздел 4] 2)

------------------------------

²⁾_{Заменен на ISO/IEC/IEEE 24765:2017.}

------------------------------

3.12

удовлетворенность (satisfaction): Отсутствие дискомфорта и положительное отношение к использованию продукции. [ИСО 9241-11:1998, статья 3.4]

3.13

заинтересованная сторона (stakeholder): Физическое или юридическое лицо, владеющее правом, долей, требованием или интересом к системе или обладающее характеристиками, отвечающими их потребностям и ожиданиям. [ISO/IEC/IEEE 15288:2015, статья 4.1.44]

3.14

система (system): Сочетание взаимодействующих элементов, организованных для достижения одной или нескольких заявленных целей. Примечания 1 Система может рассматриваться как продукт или как предоставляемые ею услуги. 2 На практике толкование ее значения часто разъясняется с помощью ассоциативного существительного, например, воздушной системы. Альтернативно, система слов может быть заменена просто зависящим от контекста синонимом, например, воздушное судно, хотя оно может скрыть перспективы системных принципов. [ISO/IEC/IEEE 15288:2015, статья 4.1.46; с изменениями, примечание 3 удалено]

3.15

задача (task): Мероприятия, необходимые для достижения цели. Примечание - Термин "задача" используется здесь, как и в ИСО 9241-11, в его самом широком смысле, а не в отношении специфики использования диалоговой системы. [ИСО 9241-11:1998, статья 3.9; с изменениями, примечания изменены]

3.16

удобство использования, практичность, пригодность (usability): Степень, в которой система, продукт или услуга могут использоваться указанными пользователями для достижения определенных целей с эффективностью, результативностью и удовлетворенностью в определенном контексте использования. Примечание - В соответствии с ИСО/МЭК 25010 "Удобство использования можно либо определить, либо измерить как характеристику качества продукта с точки зрения его подхарактеристик, либо определить или измерить непосредственно с помощью мер, которые являются подмножеством используемого качества". Определение удобства использования в настоящем стандарте согласуется со вторым подходом. [ИСО 9241-210:2010, статья 2.13; с изменениями, примечания изменены]

3.17 дефект удобства использования (usability defect): Свойство(а) продукта, которое(ые) приводит(ят) к несоответствию между намерениями и/или действиями пользователя, а также системными свойствами и поведением.

Примечания

1 Типичные дефекты удобства использования включают в себя следующее:

- дополнительные ненужные шаги, не требуемые как часть выполнения задачи;

- вводящую в заблуждение информацию;

- недостаточную и/или скудную информацию о пользовательском интерфейсе;

- неожиданные системные ответы;

- ограничения в навигации;

- неэффективные механизмы восстановления ошибок использования;

- физические характеристики пользовательского интерфейса, которые не подходят для физических характеристик пользователя.

2 Отклонения свойств продукта объекта оценки от установленных критериев также относятся к дефектам удобства использования.

3.18 обнаружение в отношении удобства использования (usability finding): Выявленный дефект и/или проблема удобства использования или положительное свойство, связанное с удобством использования.

3.19 проблема удобства использования (usability problem): Ситуация во время использования, которая приводит к низкой эффективности, результативности или удовлетворенности.

3.20

ошибка использования (use error): Действие или бездействие пользователя при использовании интерактивной системы, что приводит к другому результату, чем тот, который предписывается производителем или ожидается пользователем. Примечания 1 Ошибка использования включает в себя неспособность пользователя выполнить задачу. 2 Ошибки использования могут возникать из-за несоответствия между характеристиками пользователя, пользовательского интерфейса, задачи или среды использования. 3 Пользователи могут знать или не знать о том, что произошла ошибка использования. 4 Неожиданный физиологический ответ объекта воздействия сам по себе не считается ошибкой использования. 5 Неисправность интерактивной системы, которая вызывает неожиданный результат, не считается ошибкой использования. [МЭК 62366-1:2015, статья 3.21; с изменениями, термин "медицинское устройство" заменен на термин "интерактивная система", примечания изменены]

3.21

пользователь (user): Лицо, взаимодействующее с системой, продукцией или услугой. Примечания 1 К пользователям относятся лица, которые управляют системой, используют результат, предоставляемый системой, а также лица, которые выполняют задачи по поддержке с помощью системы (включая обслуживание и обучение). 2 Согласно ИСО/МЭК 25010, пользователь определяется как "физическое лицо или группа, которая взаимодействует с системой или получает выгоду от системы во время ее использования". 3 Первичные и вторичные пользователи взаимодействуют с системой, а основные и косвенные пользователи могут воспользоваться системой. Это определение включает в себя более широкое понимание отдельных лиц и организаций, которые действуют как пользователи. [ИСО 26800:2011, статья 2.10; с изменениями, примечания изменены]

3.22 пользовательская оценка (user-based evaluation): Оценка, которая проводится уполномоченными пользователями, выполняющими задачи с системой, с целью выявления проблем удобства использования и/или измерения эффективности, результативности, удовлетворенности пользователей или другого пользовательского опыта.

3.23

пользовательский опыт (системы, продукции, услуги) (user experience): Впечатления пользователя, возникающие в результате использования и/или предстоящего использования продукции, системы или услуги. Примечания 1 Пользовательский опыт системы включает в себя эмоции, убеждения, предпочтения, ощущения, физические и психологические реакции пользователя, поведение и достижения, которые возникают до, во время использования и после него. 2 Пользовательский опыт системы формирует сочетание образа торговой марки, способа представления, функциональности и производительности системы, ее основных и вспомогательных возможностей, а также физического и психологического состояния пользователя, являющегося результатом предшествующего опыта, привычек, навыков и индивидуальности, а также условий использования. 3 Удобство использования, если оно важно с точки зрения личных целей пользователей, может включать в себя аспекты восприятия и эмоциональные аспекты, обычно связанные с опытом пользователя. Для оценки аспектов пользовательского опыта системы могут быть использованы критерии удобства использования. [ИСО 9241-210:2010, статья 2.15]

3.24

потребности пользователя (user need): Необходимое условие для пользователя или ряда пользователей для достижения намеченного результата, подразумеваемого или указанного в определенном контексте использования. Примеры 1 Предъявитель (пользователь) должен знать, сколько времени осталось (предварительное условие) для завершения презентации (предполагаемый результат) в течение презентации с фиксированным временным лимитом (контекст использования). 2 Менеджеру по учету (пользователю) необходимо знать количество полученных счетов-фактур и их суммы (предварительное условие), чтобы заполнить ежедневный журнал учета (предполагаемый результат) в рамках мониторинга потока денежных средств (контекст использования). Примечания 1 Потребность пользователя не зависит от любого предлагаемого решения для этой потребности. 2 Потребности пользователей определяются на основе различных подходов, включая интервью с пользователями, наблюдения, опросы, оценки, экспертный анализ и т.д. 3 Потребности пользователей часто представляют собой пробелы (или расхождения) между тем, что должно быть и что есть. 4 Потребности пользователей преобразуются в требования пользователей с учетом контекста использования, приоритетов пользователей, компромиссов с другими системными требованиями и ограничениями. [ИСО/МЭК 25064:2013, статья 4.19]

3.25

требования пользователя (user requirements), требования к использованию (usage requirements): Требования к использованию, которые обеспечивают основу для разработки и оценки интерактивных систем для удовлетворения определенных потребностей пользователей. Примечания 1 Требования пользователей основаны на потребностях пользователей, характеристиках и возможностях использования системы в эффективном, результативном, безопасном и удовлетворительном состоянии. 2 Требования пользователей определяют степень, в которой потребности пользователя, характеристики и возможности должны выполняться при использовании системы. Они не являются требованиями к пользователям. 3 С точки зрения разработки программного обеспечения требования пользователей включают в себя как "функциональные", так и "нефункциональные" требования, основанные на потребностях и возможностях пользователей. [ИСО/МЭК ТО 25060:2010, статья 2.21]

4 Цель и типы оценок удобства использования

4.1 Цель оценки

Содержание отчета об оценке удобства использования зависит от цели оценки. Оценка может быть выполнена для проверки того, были ли реализованы определенные требования пользователя, или были ли реализованы указанные рекомендации по доступности. Оценка также может быть выполнена в качестве основы для решения о закупках. Настоящий стандарт описывает содержание отчетов об оценке удобства использования, подготовленных для широкого спектра целей оценки удобства использования.

Цель ИСО/МЭК 25062 заключается в том, чтобы облегчить включение удобства использования в процесс принятия решений о закупках программного обеспечения для оценки того, соответствует ли продукт требованиям удобства использования. Примеры решений включают в себя покупку, модернизацию и автоматизацию. ИСО/МЭК 25062 предоставляет пример отчета о наблюдениях за пользователями для измерения производительности в соответствии с приложением А настоящего стандарта. ИСО/МЭК 25062 обеспечивает общий формат для специалистов в области человеческих факторов и удобства использования в компаниях-поставщиках для предоставления возможности сообщить о методах и результатах испытания удобства использования организации-заказчику. Поскольку среда закупок является целевой аудиторией, то ИСО/МЭК 25062 более подходит по формату и необходимым элементам.

4.2 Типы оценок удобства использования

Оценка удобства использования является систематическим процессом, использующим один из подходов к оценке, описанных ниже.

Содержание отчета об оценке зависит от типа используемого подхода к оценке.

Классификация подходов к оценке, соответствующая разделу 2, включает в себя:

a) проверку для выявления дефектов удобства использования и потенциальных проблем удобства использования, в том числе:

- отклонения объекта оценки от определенных критериев, таких как требования пользователей, принципы, руководящие принципы проектирования или установленные договоренности,

- потенциальные проблемы удобства использования при попытке выполнить одну или несколько задач с целью оценки;

b) наблюдение за пользователями, в том числе:

- наблюдение за поведением пользователей для определения фактических результатов использования,

- измерение производительности и реакции пользователя (например, время, затрачиваемое на выполнение задачи, количество ошибок использования, пульс или расширение глазного зрачка);

Примечание 1 - Наблюдение за пользователями может проводиться как явное тестирование удобства использования и/или в "реальных условиях".

Примечание 2 - Проблемы удобства использования либо идентифицируются во время наблюдения, либо после последующего анализа.

c) опрос пользователей, включая:

- выявление проблем, мнений и впечатлений от пользователей (качественные опросы пользователей),

- измерение уровня удовлетворенности или восприятия пользователя, например, оценочные значения шкалы для удовлетворенности или для субъективно воспринимаемой эффективности или результативности (количественные опросы пользователей),

- другие данные, сообщенные пользователем (например, данные, собранные от человека в сочетании с данными наблюдений).

Примечание 3 - Сбор информации об участниках, такой как демографические данные, не является опросом пользователей.

Отчет об оценке удобства использования содержит информацию об одном или нескольких типах оценок, перечисленных выше.

Пример 1 - В отчете об испытании удобства использования описаны проблемы, с которыми сталкиваются пользователи при выполнении задач (тип информации: наблюдение за поведением пользователя). Количественный отчет об испытании удобства использования, основанный на ИСО/МЭК 25062, содержит меры эффективности, результативности и удовлетворенности (типы информации: измерение производительности пользователя и опрос пользователей).

При составлении отчетности о результатах, полученных при проведении оценки удобства использования, важно отделять недостатки удобства использования от их последствий. В то время как недостатки удобства использования обычно являются неприемлемыми свойствами интерактивной системы, их последствия описывают негативное влияние на пользователя, которое либо может произойти, либо было обнаружено, или зарегистрировано.

Пример 2 - Несоответствие удобства использования может заключаться в том, что в рамках веб-формы требуемые поля ввода не помечены как таковые. Последствия могут заключаться в том, что пользователи не заполняют требуемые поля ввода и поэтому неоднократно допускают ошибки в использовании.

Содержание оценки удобства использования может быть дополнительно классифицировано по типам оценки. Оценки удобства использования можно дифференцировать с точки зрения поведения оценки "на основе проверки" и "на основе пользователя". В следующих разделах представлены типы отчетов об оценке удобства использования.

4.3 Оценка соответствия объекта оценки указанным критериям

Данные отчета об оценке могут использоваться для разных целей. Одна из целей заключается в том, чтобы показать, что объект оценки соответствует определенным требованиям, называемым критериями соответствия. Оценка соответствия объекта оценки указанным критериям приведена в ИСО/МЭК 17000, как "демонстрация того, что заданные требования, касающиеся продукта, процесса, системы, человека или тела, выполнены". Оценка соответствия заключается в сравнении результатов оценки с заранее установленными критериями соответствия. Критерии соответствия могут быть определены в рамках проекта или третьей стороной (например, регулирующим органом). Для получения данных, которые могут быть использованы для оценки соответствия, требуется строгая оценка. Если используется оценка соответствия, она должна быть документирована в соответствии с требованиями настоящего стандарта.

Примечание - Формальная оценка соответствия требует определенной "схемы оценки соответствия". Формальная схема предусматривает: а) правовую защищенность; b) доказательства исполнения условий договора; с) согласованность применения и сопоставимость результатов между оценщиками и организациями. Схемы оценки соответствия осуществляются на международном, региональном, национальном и субнациональном уровнях.

Оценка соответствия может быть включена в отчет об оценке удобства использования или представлена в виде отдельного "Отчета об оценке соответствия". В таблице 2 приведены различные критерии соответствия, которые могут быть указаны в качестве основы для оценки соответствия. Для одной оценки соответствия могут существовать разные наборы указанных критериев соответствия, если базовая оценка состояла из нескольких типов оценки (например, проверка, наблюдение за пользователем и опрос пользователя).

Таблица 2 - Критерии соответствия, используемые для оценки соответствия, и соответствующие типы отчетов об оценке удобства использования

Критерии соответствия	Отчет об оценке удобства использования
- Указанные требования пользователя (например, "Пользователь должен иметь возможность сортировать полеты по продолжительности" или "Пользователь должен иметь возможность выбирать альтернативные режимы ввода или вывода для выполнения задачи"). Указанные принципы (например, "устойчивость к ошибкам") и рекомендации (например, "Обязательные поля ввода должны визуально отличаться от необязательных полей ввода"). - Указанные соглашения по дизайну (например, "Кнопка редактирования всегда находится в правом верхнем углу формы")	Отчет об оценке на основе проверки
- Указанные требования пользователя (например, "Пользователь должен иметь возможность увидеть то, что один или несколько объектов воздействия нуждаются в немедленном внимании"). - Указанные требования пользователя к производительности (например, "Пользователь должен иметь возможность выполнить заказ на продажу в течение 60 секунд")	Отчет о наблюдениях за пользователями
- Указанные оценки для субъективно воспринимаемой эффективности, результативности, удовлетворенности и других мерах, воспринимаемых пользователями (например, 3,5 по шкале от 1 (минимум) до 5 (максимум)). - Указанные свойства сообщенных событий (например, "Если какая-либо из сообщенных проблем удобства использования считается неприемлемой, объект оценки не соответствует оценке соответствия").	Отчет об опросе пользователей

Принципы и руководящие принципы, которые могут быть использованы в качестве критериев соответствия, публикуются в различных источниках, включая серию стандартов ИСО 9241. Эти принципы и рекомендации часто применяются во всех операционных системах и средах разработки, например, "Цвет не должен использоваться в качестве единственного средства для кодирования информации" или "Обязательные поля ввода должны визуально отличаться от дополнительных полей ввода". Рекомендации, связанные с пользовательским интерфейсом, можно найти в стандартах серии ИСО 9241:

- ИСО 9241-12 "Представление информации";

- ИСО 9241-13 "Руководство пользователя";

- ИСО 9241-14 "Диалоги меню";

- ИСО 9241-15 "Диалоги команд" ¹⁾;

------------------------------

¹⁾_{Отменен.}

------------------------------

- ИСО 9241-16 "Диалоги прямого управления" ²⁾;

------------------------------

²⁾_{Отменен.}

------------------------------

- ИСО 9241-20 "Руководящие указания по доступу к оборудованию и услугам информационных и коммуникационных технологий";

- ИСО 9241-110 "Принципы диалога";

- ИСО 9241-129 "Руководство по программному обеспечению";

- ИСО 9241-143 "Формы";

- ИСО 9241-151 ³⁾ "Руководство по пользовательским интерфейсам World Wide Web";

------------------------------

³⁾_{Отменен.}

------------------------------

- ИСО 9241-171 "Руководство по доступности программного обеспечения";

- ИСО 9241-303 "Требования к электронным визуальным дисплеям";

- ИСО 9241-400 "Принципы и требования к устройствам физического ввода";

- ИСО 9241-410 "Критерии проектирования для физических устройств ввода";

- ИСО 9241-920 "Руководство по тактильным взаимодействиям".

Установленные соглашения, которые также быть использованы в качестве критериев соответствия, обычно включают в себя правила, опубликованные поставщиками операционных систем (например, "Windows", "Мае OS", "iOS", "Android"), и среды разработки (например, "NET" или "Java").

Пример - Установленное соглашение: "Диалоговое окно всегда имеет кнопку "ОК" и "Отмена" в правом нижнем углу диалогового окна".

5 Элементы содержимого отчетов об оценке удобства использования

5.1 Выбор элементов содержимого

В данном разделе описываются элементы содержимого, которые могут быть включены в отчет об оценке удобства использования. Элементы содержимого описаны в подклассах, организованных на основе разделов, которые могут быть включены в отчет об оценке.

В зависимости от цели оценки отчет об оценке удобства использования может включать в себя следующие разделы:

- резюме;

- описание объекта оценки;

- цель оценки;

- метод;

- процедура;

- результаты;

- интерпретация результатов и рекомендаций (необязательно).

В каждом разделе отчета требуемые, рекомендуемые и разрешенные элементы содержимого для каждого типа оценки указываются в таблице, приведенной в конце каждого раздела отчета. Каждый элемент содержимого указан как обязательный, а именно: необходимый ("должен"), рекомендованный ("следует") или разрешенный ("может") для каждого типа оценки (т.е. проверки, наблюдения за пользователями и опроса пользователей). Требования описывают элементы, которые необходимы во всех ситуациях. Рекомендации также важны, но могут не применяться во всех ситуациях.

Элементы содержимого для каждого раздела отчета об оценке определяются типом(ами) оценки, которая должна быть проведена. Кроме того, существуют элементы, которые всегда необходимы, и условные элементы, которые могут быть выбраны для оценки, если они используются (например, статистический анализ или предоставленные рекомендации) и/или применимы (например, части объекта, которые были оценены, или меры, используемые при оценке).

Оценки часто содержат несколько типов оценки (например, наблюдения за пользователями и последующий опрос пользователей). В результате в отчет об оценке будут включены элементы содержимого для обоих типов оценок.

Порядок, в котором вводятся разделы и элементы внутри него, не предписывает требуемый порядок для отчета об оценке удобства использования. Более того, группировка самих элементов содержимого может быть определена автором отчета (например, объединение информации, такой как методы и процедуры, в один раздел отчета об оценке).

Отчет об оценке должен предоставлять достаточную информацию для определения достоверности оценки и обоснованности результатов оценки.

Примечание - Для наблюдения за пользователями контекст использования для оценки должен воспроизводить ключевые аспекты подмножества контекста использования, чтобы результаты оценки были объективными.

В приложении А приведена таблица, которая предоставляет обзор всех необходимых и рекомендуемых элементов содержимого для каждого типа оценки.

В следующем подразделе приведено описание элементов содержимого для отчета об оценке удобства использования. Разделы отчета, описанные ниже, относятся ко всем трем типам оценки (оценка на основе проверки, наблюдение за пользователями и опрос пользователей).

5.2 Описание элементов содержимого для каждого типа оценки

5.2.1 Резюме (в случае использования)

В данном разделе отчета об оценке удобства использования содержится краткий обзор оценки. Цель этого раздела - предоставить информацию тем, кто не может ознакомиться с технической частью отчета.

Резюме может включать в себя:

a) наименование и описание объекта оценки;

b) резюме метода(ов) и процедуры;

c) резюме результатов, включая основные выводы, соответствующие выводы и рекомендации (если применимо).

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 3.

Таблица 3 - Резюме

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Наименование и описание объекта оценки	Должен	Должен	Должен	Должен
b) Резюме метода(ов) и процедуры	Должен	Должен	Должен	Должен
с) Резюме результатов, включая основные выводы, соответствующие выводы и рекомендации (если применимо)	Должен	Должен	Должен	Должен

5.2.2 Описание объекта оценки

В этом разделе отчета об оценке удобства использования определен объект, который был фактически оценен.

Примечание - К примерам объектов оценки относятся концепции, прототипы пользовательского интерфейса, функционирующие программные системы, аппаратные продукты или компоненты продукта или услуги.

Информация об объекте оценки может включать в себя:

a) официальное наименования и номер выпуска или версии;

b) части объекта, которые были оценены (если применимо);

c) группы пользователей, для которых предназначен объект;

d) краткое описание объекта и его назначение;

e) предполагаемый контекст использования;

f) предыдущие резюме отчета об оценке удобства использования (если применимо);

g) ожидаемое воздействие (например, на производительность, безопасность, финансовый фактор) объекта;

h) цитаты к исследованию рынка для объекта.

Необходимо описать контекст использования объекта оценки. Дальнейшие указания по описанию контекста использования приведены в ИСО/МЭК 25063. Каждый из четырех компонентов контекста использования (пользователи, задачи, оборудование, окружающая среда) не всегда применимы для каждого типа оценки (например, задачи не всегда используются для оценки, основанной на проверке).

Требуемые и рекомендуемые, а также разрешенные элементы для каждого типа оценки приведены в таблице 4.

Таблица 4 - Описание объекта оценки

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Официальное наименования и номер выпуска или версии	Должен	Должен	Должен	Должен
b) Части объекта, которые были оценены (если применимо)	Должен	Должен	Должен	Должен
с) Группы пользователей, для которых предназначен объект	Следует	Следует	Следует	Следует
d) Краткое описание объекта и его назначение	Следует	Следует	Следует	Следует
е) Предполагаемый контекст использования	Следует	Следует	Следует	Следует
f) Предварительное резюме по отчету об оценке удобства использования (если применимо)	Следует	Следует	Следует	Следует
g) Ожидаемое воздействие объекта	Может	Может	Может	Может
h) Цитаты к исследованию рынка для объекта	Может	Может	Может	Может

5.2.3 Цель оценки

В этом разделе отчета об оценке удобства использования указаны причины, по которым проводилась оценка, и то, какие части объекта были оценены и почему.

а) Описание цели

Примечание 1 - Цели оценки могут включать в себя:

- улучшение дизайна путем обеспечения обратной связи в процессе проектирования;

- выявление дефектов и проблем удобства использования;

- подтверждение/выявление требований пользователей;

- подтверждение допущений;

- концепции проведения испытаний;

- измерение уровня удобства использования (т.е. эффективности и/или результативности, и/или удовлетворенности пользователей);

- установление контрольных показателей;

- оценку соответствия продукта, системы или услуги определенным критериям соответствия/приемлемости;

- определение сильных и слабых сторон продукта, системы или услуги;

- определение последствий, которые могут возникнуть в результате недостаточного удобства использования;

- разрешение споров между пользователями и/или заинтересованными сторонами;

- определение доступности продукта, системы или услуги;

- получение сертификата;

- прохождение внутренней проверки качества для завершения фазы;

- прохождение аттестации органа по сертификации.

b) Оцененные функции и компоненты (если применимо)

Примечание 2 - Нет необходимости описывать функции и компоненты, если были оценены все функции и компоненты.

c) Причины для оценки части объекта (если применимо)

Примечание 3 - Нет необходимости описывать причины, по которым оценивалась только часть объекта, если были оценены все функции и компоненты.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 5.

Таблица 5 - Цель оценки

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Описание цели	Должен	Должен	Должен	Должен
b) Оцененные функции и компоненты (если применимо)	Должен	Должен	Должен	Должен
с) Причины для оценки части объекта (если применимо)	Должен	Должен	Должен	Должен

5.2.4 Метод

5.2.4.1 Общая информация

В этом разделе отчета об оценке описывается порядок проведения оценки. Целью описания является предоставление достаточной информации для определения правильности метода и оценки достоверности результатов, а также возможности повторения.

a) Используемый(е) тип(ы) оценки

Отчеты об оценке удобства использования могут включать в себя данные, основанные на одном или нескольких типах оценки (см. 4.2).

В отчете об оценке удобства использования указывается, какой(ие) тип(ы) оценки был(и) использован(ы).

Примечание - Типы оценок включают в себя оценку на основе проверки, наблюдения за поведением пользователей для измерения производительности пользователей и опрос пользователей.

b) Достаточная информация для повторения процедуры оценки, используемой в ходе оценки

Требуемые элементы для каждого типа оценки приведены в таблице 6.

Таблица 6 - Общая информация

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Используемый(е) тип(ы) оценки	Должен	Должен	Должен	Должен
b) Достаточная информация для повторения процедуры оценки, используемой в ходе оценки	Должен	Должен	Должен	Должен

5.2.4.2 Оценщики/участники

В этом разделе отчета об оценке содержится информация о лицах, принимающих участие в оценке удобства использования. Оценщики - это люди, которые проводят оценку, а также люди, которые проводят проверки. Участниками являются люди, которые являются фактическими или потенциальными пользователями объекта оценки, принимающие участие в наблюдательных исследованиях, где контролируется их поведение и/или выполнение задачи. Лица, которые предоставляют данные опроса, также являются участниками.

Информация об оценщиках и участниках позволяет пользователям отчета судить о том, применима ли представленная информация к их условиям.

a) Общее количество оценщиков/участников.

Этот элемент сообщает об общем количестве оценщиков или участников.

b) Сегментация участников испытания или оценщиков/инспекторов (если имеется более одного сегмента).

При наблюдении за поведением пользователя в качестве экспериментальной переменной можно использовать сегментацию участников испытания в группы по их характеристикам (см. 5.2.5.1). Сегментация оценщиков позволяет сравнивать результаты, полученные разными категориями оценщиков.

Пример 1 - Категории оценщиков:

- оценщик/инспектор с опытом работы в предметной области;

- оценщик/инспектор с опытом работы в области удобства использования;

- оценщик/инспектор, представляющий пользователей;

- сегментация участников испытания (если более одного).

Пример 2 - Нечастые пользователи по сравнению с обычными пользователями.

c) Основные характеристики участников испытания или пользователей, рассматриваемых для проверки.

Основные характеристики участников испытания определяют свойства целевой аудитории пользователей, которые имеют отношение к достоверности оценки.

Примечание 1 - Основные характеристики могут включать в себя:

- демографические данные, которые используются для идентификации целевых групп пользователей, представляющих особый интерес, например возраст;

- характеристики, связанные с заданием, например, обучение, уровень навыков и установленное поведение;

- физические и сенсорные характеристики, например размеры тела, сила, зрение и слух;

- психологические и социальные характеристики, например, навыки чтения для определенного возраста, привычки, язык и культура;

- социальные и организационные характеристики, например профессия или должность, сопротивление изменениям и культура принятия риска;

- членство в группе пользователей (т.е. группы, которые участник испытания представляет для указанной оценки, например, пользователи смартфонов, пользователи стационарных телефонов).

d) Различия между выборкой и контингентом пользователей (если применимо).

Этот элемент описывает любые различия между выборкой участников и фактическим контингентом пользователей.

В частности, описаны отличия в основных характеристиках.

Пример 3 - Фактические пользователи могут посещать учебный курс, тогда как испытуемые не прошли подготовку.

e) Таблица участников по характеристикам.

Таблицы помогают пользователям в понимании и обобщении основных характеристик участников.

Примечание 2 - Таблица может включать в себя:

- участников (строки) по характеристикам (столбцам), с такими основными характеристиками, как опыт работы с компьютером, возраст, пол, способности.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 7.

Таблица 7 - Оценщики/участники

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Общее количество оценщиков/участников	Должен	Должен	Должен	Должен
b) Сегментация участников испытания или оценщиков/инспекторов (если имеется более одного сегмента)	Должен	Должен	Должен	Должен
с) Основные характеристики участников испытания или пользователей, рассмотренных для проверки	Должен	Должен	Должен	Должен
d) Различия между выборкой и контингентом пользователей (если примеримо)	Нет данных	Должен	Должен	Должен
е) Таблица участников по характеристикам	Нет данных	Должен	Должен	Должен

5.2.4.3 Задачи (если они используются при оценке)

В этом разделе отчета об оценке описываются задачи, используемые для оценки. При наблюдении за поведением пользователей, измерении производительности пользователя или сборе данных опроса обычно указываются задачи. Проверки могут выполняться на основе задач, но не все проверки основаны на задачах. Для проверок в отчете об оценке удобства использования должно быть четко указано, используются ли задачи.

Если задачи используются, информация может включать в себя:

a) Задачи, используемые для оценки.

Задачи, используемые для оценки, выражаются в названии и предполагаемых результатах, которых люди должны достичь, не ссылаясь на какие-либо конкретные способы их достижения.

b) Сценарии для каждой задачи.

Сценарий задачи - это информация, предоставленная участникам, в том числе любые раздаваемые материалы.

c) Критерии отбора задач.

Критерии отбора задач объясняют, почему выбранные задачи считаются важными для оценки.

Пример 1 - Наиболее частые задачи для каждой выбранной группы пользователей.

Пример 2 - Задачи, которые вызывают наибольший потенциальный риск.

d) Источник выбранных задач.

Источник выбранных задач объясняет, на чем основаны задачи.

Пример 3 - Наблюдение за клиентами, использующими аналогичные продукты, спецификации маркетинга продукта, обсуждение с пользователями или командой разработчиков.

e) Данные о заданиях для участников и/или инспекторов (если применимо).

Пример 4 - Данные, подлежащие обработке.

Пример 5 - Зафиксированное моделирование запроса клиента.

f) Критерии для завершения задачи или оставления задачи для каждой задачи.

Это критерии для прекращения, либо завершения, либо оставления задачи.

Пример 6 - При продолжительности более чем 30 минут задача прекращается.

Пример 7 - После трех неудачных попыток задача останавливается.

Пример 8 - Как только пользователь полагает, что задача выполнена.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 8.

Таблица 8 - Задачи (если они используются при оценке)

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Задачи, используемые для оценки	Должен	Должен	Должен	Должен
b) Сценарии для каждой задачи	Должен	Должен	Должен	Должен
с) Критерии отбора задач	Должен	Должен	Должен	Должен
d) Источник выбранных задач	Должен	Должен	Должен	Должен
е) Данные о заданиях для участников и/или инспекторов (если применимо)	Должен	Должен	Должен	Должен
f) Критерии для завершения задачи или оставления задачи для каждой задачи	Нет данных	Может	Должен	Нет данных

5.2.4.4 Среда оценки

а) Физическая среда и объекты.

В этом разделе отчета об оценке описывается информация, связанная с физической средой и объектами:

Примечание 1 - Среда оценки может включать в себя описание настройки и типа места, в котором проводилась оценка.

Примечание 2 - Среда оценки особенно важна в ситуациях, когда контекст оценки отличается от предполагаемого контекста использования.

Пример 1 - Лаборатория удобства использования, кабинет, конференц-зал, домашний офис, домашний семейный номер, производственный участок, удаленное испытание удобства использования с использованием видео- и аудио-конференций и совместного использования рабочего стола и т.д.

- любые соответствующие особенности настройки или обстоятельства, которые могут повлиять на результаты;

Пример 2 - Оборудование для видео- и аудиозаписи, зеркала одностороннего видения или автоматическое оборудование для сбора данных.

- описание физической среды.

Пример 3 - Недостаточно освещенная среда (освещение) в радиологическом отсеке.

Пример 4 - Сообщается о выборе местоположения пользователя или окружающей среды (например, дома, в автомобиле, офисе и т.д.) для дистанционного испытания.

b) Техническая среда (если применимо).

Этот элемент описывает как программное обеспечение, так и вычислительную среду.

Примечание 3 - Этот элемент может включать в себя:

- конфигурацию компьютера, включая модель, версию операционной системы, требуемые библиотеки или настройки, в зависимости от браузера, имени и версии браузера, соответствующие имена и версии плагинов;

- любые другие устройства отображения, аудиоустройства и устройства ввода.

c) Инструменты администрирования оценки (если они используются).

Этот элемент описывает любое аппаратное или программное обеспечение, используемое для управления оценкой или для записи данных.

Примечание 4 - Он может включать в себя:

- описание или спецификацию стандартного опросника;

- любое аппаратное или программное обеспечение, используемое для контроля испытания или для записи данных.

d) Администраторы оценки (если применимо).

Этот элемент идентифицирует количество администраторов оценки, их роли и должности.

Требуемые и рекомендуемые элементы для каждого типа оценки приведены в таблице 9.

Таблица 9 - Среда оценки

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Физическая среда и объекты	Нет данных	Должен	Должен	Может
b) Техническая среда (если применимо)	Должен	Должен	Должен	Следует
с) Инструменты администрирования оценки (если они используются)	Следует	Следует	Следует	Следует
d) Администраторы оценки (если применимо)	Может	Следует	Следует	Следует

5.2.5 Процедура

5.2.5.1 Проект оценки

В этом разделе отчета об оценке подробно описывается каждый шаг при выполнении оценки удобства использования. В этом разделе описывается, что и как сделано. В нем определяется тип оценки, определенные экспериментальные манипуляции, а также инструкции для участников.

a) Описание проекта оценки.

Этот элемент описывает тип выполненной оценки и экспериментальную схему оценки, план назначения экспериментальных условий участникам, включая определенные экспериментальные манипуляции, если это применимо.

Примечание 1 - Экспериментальные манипуляции могут включать в себя:

- случайное распределение;

- уравновешивание;

- другие функции управления.

b) Независимые переменные (если применимо).

Этот элемент описывает те переменные, которые обрабатываются оценщиком (независимые переменные).

Пример 1 - Различные уровни обучения, возраст участников, уровень шума, освещение, которые являются прототипом опыта участников.

с) Предопределенные критерии (для проверки или наблюдения, в случае использования).

Этот элемент используется для проверки или наблюдения.

Примечание 2 - Он может включать в себя:

- для проверки:

- принципы,

- методические рекомендации,

- установленные договоренности;

- для проверки или наблюдения за пользователями:

- требования пользователей.

Пример 2 - Указанным принципом, который должен подвергаться проверке, является "устойчивость к ошибкам".

Пример 3 - Указанный ориентир, подлежащий проверке, - это "обязательные поля ввода должны визуально отличаться от необязательных полей ввода".

Пример 4 - Указанное руководство по доступности, которое подлежит проверке, гласит: "Всякий раз, когда отображается информация о перемещении, мигании, прокрутке или автоматическом обновлении, программное обеспечение должно позволять пользователю приостанавливать или останавливать презентацию, за исключением простых индикаторов хода выполнения процесса".

Пример 5 - Указанное требование пользователя, подлежащее проверке, заключается в том, что "Пользователь должен иметь возможность сортировать полеты по продолжительности".

Пример 6 - Указанное соглашение по дизайну, которое подлежит проверке, заключается в том, что "Кнопка редактирования всегда находится в правом верхнем углу формы".

d) Меры, используемые при оценке (если применимо).

Этот элемент описывает меры, в отношении которых данные были записаны для каждого комплекса условий.

Пример 7 - Количество участников, которые совершают ошибки при выполнении задачи.

e) Оперативные определения критериев или мер (если применимо).

Этот элемент описывает, что составляет критерий или меру.

Пример 8 - Что представляет собой ошибку использования участника: "Неправильный навигационный выбор".

f) Взаимодействие между лицами, принимающими участие в каждой сессии оценки (если применимо).

Этот элемент описывает допустимые взаимодействия между лицами, принимающими участие в оценке.

Примечание 3 - Он может включать в себя:

- количество и роли тестирующего персонала и участников, которые будут взаимодействовать во время сеанса оценки;

- количество и роли участников, и как они будут взаимодействовать друг с другом во время сеанса оценки.

g) Другие лица, присутствующие при оценках (если применимо).

Этот элемент определяет любых других лиц, которые, как ожидается, будут присутствовать во время оценки, если это применимо.

h) Общие инструкции, данные участникам.

Этот элемент описывает общие инструкции, данные участникам оценки.

Примечание 4 - Он может включать в себя:

- фактические инструкции, данные участникам (здесь или в приложении);

- инструкции о том, как участники должны взаимодействовать с любыми другими присутствующими лицами, в том числе о том, как они должны обращаться за помощью и взаимодействовать с другими участниками, если это применимо.

i) Конкретные инструкции по задачам (если применимо).

Этот элемент описывает конкретные инструкции по задачам, включая временные рамки для выполнения задач, заданных участникам или оценщику(ам).

Примечание 5 - Он может включать в себя:

- краткую инструкцию по задаче;

- временные рамки для каждой задачи.

j) Последовательность действий для проведения оценки

Этот элемент описывает последовательность организационных действий для проведения каждой сессии в рамках оценки от приема участников до их увольнения.

Примечание 6 - Он может включать в себя:

- шаги, осуществляемые для выполнения сеансов испытаний и записи данных;

- сведения о соглашениях о неразглашении, заполнении формы, разминке, подготовке к задаче и подведении итогов;

- сведения о том, получали ли участники какие-либо выплаты или иные компенсации;

- проверка того, что участники знали и понимали их права в качестве испытуемых.

В таблице 10 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 10 - Проект оценки

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Описание проекта оценки	Должен	Должен	Должен	Должен
b) Независимые переменные (если применимо)	Нет данных	Должен	Должен	Должен
с) Предопределенные критерии (для проверки или наблюдения) (в случае использования)	Должен	Должен	Нет данных	Нет данных
d) Меры, используемые при оценке (если применимо)	Нет данных	Может	Должен	Должен
е) Оперативные определения критериев или мер (если применимо)	Должен	Должен	Должен	Должен
f) Взаимодействие между лицами, принимающими участие в каждой сессии оценки (если применимо)	Нет данных	Должен	Должен	Следует
g) Другие лица, присутствующие при оценках (если применимо)	Нет данных	Следует	Следует	Следует
h) Общие инструкции, данные участникам	Нет данных	Должен	Должен	Должен
i) Конкретные инструкции по задачам (если применимо)	Следует	Должен	Должен	Нет данных
j) Последовательность действий для проведения оценки	Нет данных	Следует	Следует	Может

5.2.5.2 Собираемые данные

В этом разделе отчета описываются элементы процедуры, описывающие данные, собираемые во время оценки.

a) Дефекты удобства использования с точки зрения отклонений от предопределенных критериев (если используются критерии).

Этот элемент определяет то, что отклонения от заданных критериев (см. 5.2.5.1) будут собраны во время оценки.

Примечание 1 - Отклонения включают в себя все свойства взаимодействия с объектом оценки, которые отклоняются от критериев и, как ожидается, вызовут проблемы удобства использования.

Пример 1 - Диалоговое окно, в котором нет кнопки "Отмена".

Пример 2 - В контексте использования, при наличии требования пользователя, эти критические элементы управления легко идентифицируются (критерий), ни один пользователь не нашел кнопку аварийного отключения (отклонение).

b) Наблюдаемое поведение пользователя.

Этот элемент идентифицирует все типы наблюдаемого поведения пользователя, которые должны быть собраны.

Эти данные могут быть использованы для определения результатов удобства использования во взаимодействии с объектом оценки.

Примечание 2 - Данные о наблюдениях за пользователями могут включать в себя ситуации, в которых:

- пользователи не знают, как выполнить задачу;

- возникают ошибки использования;

- пользователи сообщают о разочарованиях;

- пользователи участвуют в позитивном поведении;

- пользователи проявляют дискомфорт;

- существует свидетельство того, что одно или несколько определенных требований пользователя выполнены (или не выполнены).

c) Наблюдаемые данные о производительности.

Этот элемент определяет все типы данных о производительности, относящихся к эффективности и результативности, которые должны быть собраны.

Данные о производительности - это конкретный случай данных наблюдений, где числовые значения получены с акцентом на измерение.

Примечание 3 - Измерения данных о производительности могут включать в себя:

- точность и полноту результатов задачи (эффективность) (если применимо);

- завершение задания;

- время, затраченное на выполнение задачи;

- ошибки использования и частоту их возникновения;

- количество щелчков мыши, касаний или жестов;

- количество нажатий на клавишу;

- отслеживание движения глаз;

- данные о поведении (например, эмоциональный уровень, уровень беспокойства, внимания);

- физиологические данные (например, пульс, артериальное давление).

d) Качественные данные, сообщенные пользователями.

Этот элемент определяет тип(ы) качественных данных, сообщенных пользователями, которые должны быть собраны, а также инструмент работы с данными, который будет использоваться.

Качественные данные, сообщенные пользователями, представляют собой заявления, сделанные пользователями по их опыту, приобретенному в отношении объекта оценки.

Примечание 4 - Опросник является типичным инструментом сбора данных, сообщаемых пользователями. В опроснике, применяемом для сбора качественных данных, используются открытые вопросы.

Примечание 5 - Качественные данные, сообщенные пользователями, могут включать в себя:

- проблемы;

- положительный опыт;

- как пользователи используют объект оценки;

- ожидания;

- нежелательные явления;

- предложения.

Примечание 6 - Проблемы, сообщаемые пользователями, могут сопровождаться субъективными оценками степени опасности.

е) Количественные данные, сообщаемые пользователями.

Этот элемент определяет тип(ы) количественных данных, сообщенных пользователями, которые должны быть собраны, а также инструмент работы с данными, который будет использоваться для сбора.

Количественные данные, сообщенные пользователями, - это опыт, рассчитанный на заданный масштаб.

Примечание 7 - Опросник является типичным инструментом сбора данных, сообщаемых пользователями. В опроснике, применяемом для сбора количественных данных, используются закрытые вопросы, как правило, с соответствующей рейтинговой шкалой.

Примечание 8 - Количественные данные, сообщенные пользователями, могут включать в себя субъективные оценки объекта оценки с точки зрения:

- удовлетворения;

- комфорта;

- надежности;

- отношения;

- обращения;

- усилия;

- воспринимаемой эффективности;

- воспринимаемой результативности.

В таблице 11 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 11 - Данные, подлежащие сбору

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Дефекты удобства использования с точки зрения отклонений от предопределенных критериев (если используются критерии)	Должен	Нет данных	Нет данных	Нет данных
b) Наблюдаемое поведение пользователя	Нет данных	Должен	Следует	Нет данных
с) Наблюдаемые данные о производительности	Нет данных	Может	Должен	Нет данных
d) Качественные данные, сообщаемые пользователями	Нет данных	Может	Может	Должен
е) Количественные данные, сообщаемые пользователями	Нет данных	Нет данных	Нет данных	Должен

5.2.6 Результаты

5.2.6.1 Анализ данных

В этом разделе отчета об оценке удобства использования описываются собранные данные и применяется статистическая или аналитическая обработка данных. Сообщается о достаточной детализации для обоснования выводов. В этом разделе представлены результаты, обсуждение результатов, а также последствия или следствия результатов.

a) Подход, используемый для анализа наблюдаемых, измеряемых или собираемых данных.

Этот элемент описывает, каким образом были проанализированы наблюдаемые, измеряемые или собираемые данные.

b) Различия в планируемых и собранных данных (если применимо).

Этот элемент описывает различия между данными, которые планировалось собрать, и данными, которые были фактически собраны, если это применимо.

c) Часть данных, используемых в анализе (если применимо).

Этот элемент описывает часть собранных данных, которая фактически использовалась для анализа.

Пример 1 - Как обрабатывались недостающие данные. Как обрабатывались данные в отношении исключения для резко отклоняющихся значений.

d) Оценка данных (если используется).

Этот элемент описывает сопоставление между данными, которые были собраны, и значениями, используемыми в последующем анализе.

Пример 2 - Как классифицированы ошибки использования. Как фактические возрасты сопоставляются с возрастными диапазонами. Как ошибки, связанные с использованием, сопоставляются с набором значений.

e) Сокращение данных.

Этот элемент идентифицирует метод, используемый для генерации сводок необработанных данных.

Пример 3 - Какое измерение центральной тенденции использовалось (например, среднее или режимное). Как измерялось изменение (например, стандартное отклонение или диапазон).

Пример 4 - Систематическая характеристика открытых ответов.

f) Статистический анализ (в случае использования).

Этот элемент определяет и описывает статистический анализ, используемый для анализа данных, включая статистическую процедуру.

Пример 5 - Как сравнивались группы (например, t-тест, F-тест).

Для данных, которые рассчитываются как средства, вычисляют стандартное отклонение и стандартную ошибку среднего значения.

В таблице 12 указаны требуемые элементы для каждого типа оценки.

Таблица 12 - Анализ данных

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Подход, используемый для анализа наблюдаемых, измеряемых или собираемых данных	Должен	Должен	Должен	Должен
b) Различия в планируемых и собранных данных (если применимо)	Должен	Должен	Должен	Должен
с) Часть данных, используемых в анализе (если применимо)	Должен	Должен	Должен	Должен
d) Оценка данных (если используется)	Нет данных	Должен	Должен	Должен
е) Сокращение данных	Нет данных	Должен	Должен	Должен
f) Статистический анализ (в случае использования)	Нет данных	Должен	Должен	Должен

5.2.6.2 Представление результатов

В этом разделе отчета об оценке представлены данные, собранные на основе анализа данных. Отдельные оценки или необработанные данные в отчет не включаются. Для данных, которые представлены как средства, включают стандартное отклонение и стандартную ошибку ("доверительный интервал"), см. 5.2.6.1. Таблицы и графики могут использоваться для краткого представления сложных результатов. Как таблицы, так и различные графические форматы эффективны при кратком описании данных об удобстве использования. Гистограммы полезны для описания субъективных данных, например, полученных из шкал Ликерта. Разнообразие графиков можно эффективно использовать для сопоставления экспертных тестовых сроков для объекта оценки по сравнению со средним временем выполнения операции участником. При необходимости детали интерпретации описываются в "выводах и рекомендациях".

Обобщение результатов:

a) Дефекты удобства использования с точки зрения отклонения свойств объекта оценки от установленных критериев.

Этот элемент суммирует недостатки удобства использования с точки зрения отклонений свойств объекта оценки от принципов, руководящих принципов и установленных договоренностей или определенных требований пользователя.

Примечание 1 - Для представления результатов можно использовать сопоставление отклонений свойств объекта оценки от указанных критериев.

b) Потенциальные проблемы удобства использования, которые могут возникнуть из-за выявленных дефектов удобства использования.

Этот элемент суммирует потенциальные проблемы удобства использования (и связанные с ними обоснования для прогнозирования), которые являются результатом выявленных дефектов удобства использования, т.е. отклонения свойств объекта оценки от принципов, руководящих принципов и установленных договоренностей или определенных требований пользователя.

c) Результаты удобства использования, выявленные во время наблюдений.

Этот элемент суммирует результаты удобства использования, определенные во время наблюдений.

d) Данные о производительности на основе измерений.

Этот элемент суммирует собранные данные измерений, которые характеризуют результаты производительности для каждой задачи или группы задач.

Примечание 2 - Данные о производительности могут аккумулироваться при наблюдении за поведением пользователей. Они включают в себя:

- точность и полноту результатов задачи (эффективность);

- скорость завершения задачи;

- время выполнения задачи;

- результативность;

- ошибки использования и частоту возникновения;

- количество оказаний помощи;

- количество щелчков мыши, касаний или жестов;

- количество нажатий на клавишу;

- расстояние, пройденное на экране с помощью указательного устройства (например, мыши);

- отслеживание движения глаз;

- психологические данные (например, эмоциональный уровень, уровень беспокойства, внимания);

- физиологические данные (например, пульс, артериальное давление).

e) Проблемы, мнения и впечатления, сообщаемые пользователями.

Этот элемент суммирует проблемы, мнения и впечатления пользователей.

Примечание 3 - Пользователи могут сообщать о проблемах, мнениях и впечатлениях спонтанно во время наблюдения.

f) Измеренный уровень удовлетворенности или восприятия пользователя.

Этот элемент суммирует измеренный уровень удовлетворенности или восприятия пользователя.

В таблице 13 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 13 - Представление результатов

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Дефекты удобства использования с точки зрения отклонений свойств объекта оценки от предопределенных критериев (если используются критерии)	Должен	Может	Может	Может
b) Потенциальные проблемы удобства использования, которые могут возникнуть из-за выявленных дефектов удобства использования	Должен	Нет данных	Нет данных	Нет данных
с) Результаты удобства использования, определенные во время наблюдений	Нет данных	Должен	Следует	Нет данных
d) Данные о производительности на основе измерений	Нет данных	Может	Должен	Нет данных
е) Проблемы, мнения и впечатления, сообщаемые пользователями	Нет данных	Следует	Может	Должен
f) Измеренный уровень удовлетворенности или восприятия пользователя	Нет данных	Нет данных	Следует	Следует

5.2.7 Интерпретация результатов и рекомендаций

В этом разделе отчета об оценке использования содержится интерпретация результатов и рекомендаций, которые помогают определить вопросы, которые будут подробно рассмотрены.

Примечание - В некоторых случаях включены только ключевые интерпретации и рекомендации.

a) Интерпретация результатов.

Этот элемент предоставляет выводы, основанные на интерпретации результатов.

b) Рекомендации.

Этот элемент предоставляет набор рекомендаций для улучшения объекта оценки на основе результатов оценки и их интерпретации.

В таблице 14 указаны требуемые и рекомендуемые элементы для каждого типа оценки.

Таблица 14 - Интерпретация результатов и рекомендаций

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Интерпретация результатов	Следует	Следует	Следует	Следует
b) Рекомендации	Следует	Следует	Следует	Следует

5.2.8 Дополнительное содержимое для оценки соответствия (как часть отчета об оценке удобства использования)

В этом разделе отчета об оценке удобства использования содержится оценка соответствия. Отчеты об оценке удобства использования для оценки соответствия включают в себя дополнительные элементы содержимого.

a) Схема оценки соответствия (в случае использования).

Этот элемент описывает схему оценки соответствия (название, версия).

Примечание - Схемы оценки соответствия могут существовать на международном, региональном, национальном или субнациональном уровнях.

b) Критерии соответствия.

Этот элемент описывает используемые критерии соответствия.

c) Декларация о соблюдении всех критериев соответствия.

Этот элемент предоставляет декорацию, в которой описывается, были ли выполнены все критерии соответствия.

d) Доказательства, показывающие, почему критерии соответствия не были выполнены (выявленные несоответствия).

Этот элемент предоставляет результаты, которые показывают, почему определенные критерии соответствия не были выполнены (выявленные несоответствия).

В таблице 15 указаны требуемые элементы для каждого типа оценки.

Таблица 15 - Дополнительное содержимое для оценки соответствия (в случае использования)

Тип оценки. Элементы содержимого, которые должны быть включены в отчет	Проверка	Наблюдения за пользователями		Опрос пользователей
		Наблюдение за поведением пользователей	Измерение производительности и реакции пользователей
а) Схема оценки соответствия (в случае использования)	Должен	Должен	Должен	Должен
b) Критерии соответствия	Должен	Должен	Должен	Должен
с) Заявление о том, были ли соблюдены все критерии соответствия	Должен	Должен	Должен	Должен
d) Доказательства, показывающие, почему критерии соответствия не были выполнены (выявленные несоответствия)	Должен	Должен	Должен	Должен

Библиография

[1]	ISO 9241 series,	Ergonomics of human-system interaction
[2]	ISO 26800:2011	Ergonomics - General approach, principles and concepts
[3]	ISO/IEC/IEEE 15288:2015	Systems and software engineering - System life cycle processes
[4]	ISO/IEC/IEEE 15289:2011 1)	Systems and software engineering - Content of life-cycle information items (documentation)
[5]	ISO/IEC 17000:2004	Conformity assessment - Vocabulary and general principles
[6]	ISO/IEC/IEEE 24765:2010	Systems and software engineering - Vocabulary
[7]	ISO/IEC 25000:2014	Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE
[8]	ISO/IEC 25010:2011	Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models
[9]	ISO/IEC 25040:2011	Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process
[10]	ISO/IEC 25063:2014	Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: Context of use description
[11]	ISO/IEC 25064:2013	Systems and software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: User needs report
[12]	ISO/IEC 25065	Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for Usability - User Requirements Specification
[13]	ISO/IEC 33020:2015	Information technology - Process assessment - Process measurement framework for assessment of process capability
[14]	ISO TS 18152:2010	Ergonomics of human-system interaction - Specification for the process assessment of human-system issues
[15]	ISO TR 18529:2000	Ergonomics - Ergonomics of human-system interaction - Human-centred lifecycle process descriptions
[16]	ISO/IEC TR 11580:2007	Information technology - Framework for describing user interface objects, actions and attributes
[17]	ISO/IEC TR 24774:2010	Systems and software engineering - Life cycle management - Guidelines for process description
[18]	ISO/IEC TR 25060:2010	Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: General framework for usability-related information
[19]	IEC 62366-1:2015	Medical devices - Part 1: Application of usability engineering to medical devices

------------------------------

¹⁾_{Заменен на ISO/IEC/IEEE 15289:2015.}