Приложение В (справочное). Дополнительная информация о технической документации на методы и процедуры оценки

Приложение В
(справочное)

Дополнительная информация
о технической документации на методы и процедуры оценки

B.1 Документация на методы и процедуры оценки

Документация на методы и процедуры оценки должна удовлетворять следующим критериям:

a) техническая документация должна быть разработана для каждого используемого метода и процедуры оценки. Документация должна включать в себя доказательные исследования, которые обеспечивают качество методов и процедур оценки;

b) документация должна быть представлена конструктором или разработчиком метода или процедуры и быть доступна через дистрибьютора или правообладателя метода или процедуры;

c) техническая документация должна быть доступна поставщику услуг, заказчику и иным сторонам;

d) все источники, приведенные в технической документации, должны быть общедоступны или, в случае коммерческой информации, доступны для обзора в соответствии с соглашением о неразглашении;

e) все подтверждающие доказательства следует представить достаточно подробно, и они должны включать:

1) описание модели, теории или логики, на которых основан метод или процедура оценки, например, теория организационной культуры, модель удовлетворенности работой, теория индивидуальных различий в интеллекте или модель квалификационных требований к профилю работы;

2) сведения о времени и месте получения доказательства и времени их последнего обновления;

3) сведения о типе собранных данных, например, о результатах тестов, оценки, рейтингов, рейтингов интервью, опросников по внутригрупповому выбору;

4) информацию, касающуюся характеристик участников оценки, о достаточности их представительства и достаточном количестве, чтобы подтвердить любые выводы на основе их результатов;

5) информацию, касающуюся установления проходных или пограничных баллов;

6) последствия выводов для использования метода или процедуры оценки, включая ограничения по их применению;

f) документация для доказательств должна соответствовать общепринятым критериям для научных публикаций. Эти критерии представлены в В.2 - В.6.

Примечание - Техническая документация не всегда содержит тестовые задания, содержание заданий или подходы к выставлению баллов/алгоритмам.

B.2 Объективность методов и процедур оценки в ходе их реализации

Необходимо представить порядок применения методов и процедур оценки, подсчета баллов и интерпретации результатов для их последовательного осуществления. Требования, предъявляемые к оборудованию (например, к компьютерам), обучению (например, экспертов по оценке, интервьюеров или администраторов) или другим специальным помещениям (например, подходящим помещениям для групповых занятий) должны быть четко описаны и документированы.

B.3 Обоснованность

Результаты оценки должны быть обоснованными. Техническая документация должна содержать данные, обеспечивающие доказательства для подтверждения выводов, которые можно сделать из результатов оценки, и включать описание ограничений на их использование.

a) Техническая документация должна содержать информацию о фактах, подтверждающих обоснованность процедуры.

b) Методы, используемые для сбора таких доказательств, должны быть описаны в технической документации. Описание метода должно включать в себя характеристики участников оценки, способ принятия их на работу и их демографические данные, способ исследования (например, сбор всей информации в одной точке в одно время или с задержкой по времени и т.д.) и размер выборки.

B.4 Достоверность

Результаты оценки должны быть достоверными. В используемых методах и процедурах должны быть предусмотрены баллы для оценки отдельных лиц, команд, групп или организаций, которые максимально свободны от источников случайной погрешности измерений.

a) Техническая документация должна содержать информацию о достоверности метода или процедуры и способе определения достоверности, например, при анализе повторяемости оценки экспертов или через лицо при проведении опроса (по соглашению между экспертом и опрашиваемым лицом), по временной стабильности результатов в различные временные интервалы, последовательности нескольких действий, направленных на измерение той же конструкции.

b) При использовании нескольких действий, например, осуществляемых группой экспертов одновременно или одним экспертом в течение определенного времени, отдельные результаты оценки должны быть объединены в общий результат, и должна быть представлена информация о достоверности общего результата.

B.5 Объективность

Методы и процедуры оценки должны быть объективными. Степень, при которой они могут быть подвержены систематическим погрешностям, должна быть указана в документах.

Пример - Понятность мнения эксперта о наблюдении систематических погрешностей оценки, связанных с требованиями к некоторым участникам оценки, реагирующим на оценку на иностранном языке, и способами, в которых содержание метода или процедуры могло бы повлиять на эффективность действий, не связанных с целью оценки.

В.6 Периодические проверки на адекватность

Любые отклонения от стандартных методов и процедур, например, помещения для использования лицами, которые имеют особые потребности, или лицами, которые должны быть оценены на другом языке, должны соответствовать требованиям и быть документированы.

a) Достаточность доказательств для поддержки постоянного использования метода или процедуры следует периодически проверять, особенно это касается научной литературы и анализа данных поставщика услуг. Периодичность проверок должна определяться характером мер и выводов, которые используются для поддержки, доказательства их стабильности в течение времени и доказательств, относящихся к изменениям, в популяциях среди участников оценки (лиц, групп, организаций).

b) Процедуры, установленные для применения, управления, подсчета баллов и сбора информации, следует периодически пересматривать, особенно в соответствии с профессиональными стандартами и в связи рисками возникновения возможной ошибочной интерпретации.