Приложение 4. Методология формирования и актуализации оценочных материалов в амбулаторно-поликлиническом звене

Приложение 4
к приказу Департамента
здравоохранения города Москвы
от 18.09.2023 г. N 943

Методология
формирования и актуализации оценочных материалов в амбулаторно-поликлиническом звене

1. Основные понятия

Оценочные материалы - задания в виде компьютерных тестовых заданий и ситуационных задач.

Уровень сложности - распределение оценочных материалов от простого к сложному для оценки квалификации и соответствия должности экзаменуемых. В целях данного регламента уровень сложности подразделяется на: базовый (для ординаторов), сложный, очень сложный (для работающих врачей).

Тестовые задания - минимально достаточный перечень вопросов с ограничением времени выполнения, который позволяет сравнительно точно определить уровень теоретических знаний работников (далее - экзаменуемые).

Тестовые задания могут быть:

1) закрытого типа (каждый вопрос сопровождается готовыми вариантами ответов, из которых необходимо выбрать один или несколько правильных);

2) открытого типа (на каждый вопрос надо предложить свой ответ: дописать слово, словосочетание, предложение и т.д.).

3) на установление соответствия - необходимо установить соответствие элементов двух списков

4) на установление последовательности - надо расположить элементы списка в определенной последовательности.

Дистракторы (от англ. Distract - отвлекать) - неправильные, но правдоподобные ответы среди перечня возможных ответов на вопрос тестового задания, их количество принято равным трем (3).

Ситуационные задачи - вид письменного задания, имитирующий ситуации, которые могут возникнуть в реальной действительности. Ситуационные задачи выступают средством, позволяющим объективно проверить умение экзаменуемых применять теоретические знания в практической деятельности.

Объективный структурированный клинический экзамен (ОСКЭ) - средство оценки, основанное на принципах объективности и стандартизации, которое позволяет обученным экзаменаторам оценить знание экзаменуемого по стандартизованным шкалам оценки. При применении этой методики экзаменуемые последовательно перемещаются по серии станций (рекомендовано от 10 до 20) с целью оценки их профессиональных умений и навыков в смоделированных условиях с ограничением времени пребывания. Для проведения ОСКЭ могут быть использованы различные тренажеры и симуляторы, стандартизированные пациенты, а также дополнительные диагностические элементы (результаты лабораторных и инструментальных исследований).

Стандартизированные пациенты - это лица, специально обученные действовать в качестве пациентов на ОСКЭ для оценки профессиональных умений и навыков экзаменуемых.

Станция - учебное помещение, где экзаменуемый демонстрирует конкретные профессиональные умения и компетенции в смоделированных условиях, максимально приближенных к реальной профессиональной деятельности.

Станции могут быть:

клинические - включают взаимодействие со стандартизированным пациентом (консультирование, сбор жалоб и анамнеза, постановка диагноза и пр.);

практические - включают выполнение манипуляций на симуляционном оборудовании, технических процедур (пальпация молочной железы, запись ЗКГ, инъекции и пр.);

статические - для выполнения письменных заданий: интерпретация лабораторно-инструментальных исследований, формирование плана лечения, выписка рецепта и пр.

Паспорт станции - документ, включающий название станции, продолжительность работы станции, необходимую информацию по оснащению станции, брифинг (краткое задание перед входом на станцию), сценарий, оценочные листы (далее - чек-листы), справочная информация и т.д.

Сценарий станции - инструкции для экзаменуемого, стандартизированного пациента (при наличии), экзаменатора в целях демонстрации со стороны экзаменуемых необходимых практических умений и навыков в соответствии с паспортом станции.

Чек-лист - балльная оценка, используемая экзаменаторами, при прохождении ОСКЭ экзаменуемыми.

База знаний - учебные материалы, справочники, классификаторы, нормативные акты, иные материалы, которые должны быть доступны для экзаменуемых в целях подготовки к оценке.

Доступные ресурсы - справочники, шкалы классификаторы, иные материалы, которые могут быть использованы экзаменуемыми во время выполнения оценочных заданий.

Автор - составитель оценочных материалов и/или паспорта ОСКЭ. У каждого вида оценочных материалов может быть свой автор.

Консультант - представитель амбулаторно-поликлинического звена, взаимодействует с Автором по формированию оценочных материалов с целью объективной оценки экзаменуемых.

Эксперт - представитель Управления по организации первичной медико-санитарной помощи Департамента здравоохранения города Москвы - согласует оценочные материалы и паспорта ОСКЭ.

Рецензент - заместитель руководителя Департамента здравоохранения города Москвы - утверждает оценочные материалы и паспорта ОСКЭ.

2. Формирование оценочных материалов

Для формирования оценочных материалов по каждой теме/нозологии Управлением по организации первичной медико-санитарной помощи Департамента здравоохранения города Москвы определяется Автор.

Автор формирует оценочные материалы с привлечением Консультанта для более точного понимания требований к знаниям, умениям, навыкам, компетенциям для амбулаторно-поликлинического звена в соответствующей специальности.

Формирование оценочных материалов происходит в формате заданных шаблонов согласно приложениям 1 - 6 к настоящей Методологии и в соответствии со специальными квалификационными требованиями к должности и должностными обязанностями врачей медицинских организаций амбулаторно - поликлинического звена государственной системы здравоохранения города Москвы, оказывающих первичную медико-санитарную помощь взрослому населению в городе Москве, утверждаемыми приказом Департамента здравоохранения города Москвы.

Каждый вид оценочного материала должен относиться к каким-либо необходимым умениям по трудовым функциям в соответствии с профессиональным стандартом, утвержденным приказом Министерства труда и социальной защиты Российской Федерации.

Для оценочных материалов необходимо придерживаться следующих правил:

1) содержание заданий должно быть максимально приближено к реальной действительности;

2) задания должны способствовать выявлять знания и умения в соответствии с существующими нормами, регламентами и правилами (клиентские пути, клинические рекомендации, правильная маршрутизация и т.д.);

3) основная часть задания должна быть предельно краткой и понятной;

4) ответы должны быть приблизительно одной длины;

5) номер места правильного ответа (для тестовых заданий) выбирается в случайном порядке;

6) ни один из дистракторов не должен являться частично правильным ответом;

7) в ответах нельзя использовать выражения "все", "ни одного", "никогда", "всегда", "кроме" и т.д.;

8) при формулировке дистракторов нельзя использовать выражения "ни один из перечисленных", "все перечисленные".

По каждому виду оценочных материалов определяется базовое плановое количество и плановое время прохождения.

Для каждой темы/нозологии формируется база знаний в виде списка с указанием доступных ресурсов.

Автор передает сформированные оценочные материалы Эксперту для согласования. Эксперт может вернуть оценочные материалы на доработку с указанием конкретных недостатков и сроков для устранения.

После согласования Эксперт передает оценочные материалы Рецензенту на утверждение.

Рецензент может вернуть оценочные материалы Эксперту на доработку с указанием конкретных недостатков и сроков для устранения. В этом случае оценочные материалы дорабатываются Автором совместно с Экспертом.

Процесс согласования оценочных материалов в целевой модели должен происходить в Единой системе обучения и оценки с соответствующей ролевой моделью.

3. Определение планового времени

Для каждого вида оценочных материалов должно быть сформировано плановое время прохождения, исходя из следующих параметров:

1) время на подготовку;

2) время на прохождение оценочных материалов;

3) время на заключительный этап.

Время на подготовку отводится для инструкции прохождения того или иного задания. Инструкция может быть сформирована в письменном виде, в электронном виде, голосовым сообщением. Экзаменуемый в течение времени на подготовку должен четко понять, что от него требуется в качестве действий и ожидаемого результата. Рекомендуемое время на подготовку составляет от 1 до 3 минут.

Время на прохождение оценочных материалов отводится на выполнение теоретической или практической части оценки.

Рекомендуемое время для прохождения теоретической части составляет:

- для оценочных тестов - 2 минуты на каждый вопрос;

- для решения ситуационных задач - 20 минут на 1 ситуационную задачу. Рекомендуемое время для прохождения практической части составляет:

для экзаменационного приема - от 5 до 10 минут;

для работы на симуляционном оборудовании - от 5 до 10 минут.

Время на заключительный этап отводится на отображение результатов выполнения задания и комментарий Эксперта (при необходимости). Рекомендуемое время для заключительного этапа составляет от 2 до 5 минут.

4. Актуализация оценочных материалов

С целью объективной оценки знаний, умений, компетенций экзаменуемых оценочные материалы должны находиться в актуальном состоянии. Для этого не реже 1 раза в год авторы, консультанты, Эксперты и рецензент должны подтвердить актуальность оценочных материалов.

Любой из участников процесса может дополнительно инициировать изменения, дополнения в оценочные материалы при наступлении обстоятельства для инициации, например, новые/измененные клинические рекомендации, новый/измененный нормативно-правовой акт, изменение процесса и так далее.

В этом случае инициатором формируется предложение об актуализации с указанием тех оценочных материалов, которые подлежат изменению. Процесс изменения аналогичен процессу формирования.

5. Формирование паспортов станций ОСКЭ

Для формирования ОСКЭ по специальности Управлением по организации первичной медико-санитарной помощи Департамента здравоохранения города Москвы (далее - Управление) формируется перечень станций для прохождения ОСКЭ по форме согласно приложению 7 к настоящей Методологии, который утверждается Рецензентом.

По каждой станции Управление определяет Автора, Консультанта и Экзаменаторов. Список Авторов, Консультантов и Экзаменаторов должен быть также утвержден Рецензентом по форме, согласно приложению 8 к настоящей Методологии.

Автор формирует паспорт станции с привлечением Консультанта для более точного понимания требований к профессиональным умениям, навыкам, компетенциям для амбулаторно-поликлинического звена по специальности.

Формирование паспорта станции происходит в формате заданного шаблона согласно приложению 9 к настоящей Методологии.

Каждая станция должна относиться к каким-либо необходимым умениям по трудовым функциям врача в соответствии с профессиональным стандартом врача, утвержденным приказом Министерства труда и социальной защиты Российской Федерации.

Паспорт станции должен включать сценарии, которые позволяют оценить профессионализм экзаменуемого, умение выполнять необходимые действия и коммуникативные навыки.

Паспорт станции должен соответствовать следующим критериям:

валидность - позволяет определить подлежащие проверке знания и умения, которые отражают поведение в реальной клинической ситуации в соответствии с профессиональным стандартом. Для этого необходимо формировать паспорт с моделированием реальной действительности, и соответствием требованиям нормативной базы;

Надежность и справедливость оценки включают в себя следующие факторы:

все экзаменуемые получают одинаковый набор заданий;

для каждого участника должна быть сформирована четкая и понятная инструкция;

набор станций должен помочь оценить разные аспекты клинической компетентности экзаменуемого;

каждого экзаменуемого оценивает множество подготовленных экзаменаторов, наблюдающих за выполнением заданий на различных станциях;

на станциях, включающих выполнение процедур, используются симуляторы с компьютерным контролем и объективной оценкой в реальном времени;

практичность включает в себя следующие факторы:

задачи на станциях не должны быть изолированы друг от друга;

регулировка нагрузки экзаменаторов, оставляя их только на тех станциях, где их присутствие необходимо;

разноуровневые чек-листы в зависимости от стажа работы и занимаемой должности экзаменуемого.

Паспорт станции передается на согласование Эксперту. Эксперт согласовывает паспорт. Эксперт может вернуть паспорт на доработку с указанием конкретных недостатков и сроков для их устранения.

После согласования Эксперт передает паспорт Рецензенту на утверждение.

Рецензент может вернуть паспорт Эксперту на доработку с указанием конкретных недостатков и сроков для устранения. В этом случае паспорт дорабатываются Автором совместно с Экспертом.

Процесс согласования паспортов станций в целевой модели должен происходить в Единой системе обучения и оценки с соответствующей ролевой моделью.