Приложение 3. Методология формирования и актуализации оценочных материалов по онкологии в амбулаторном звене

Приложение 3
к приказу Департамента
здравоохранения города Москвы
от 18.09.2023 г. N 943

Методология
формирования и актуализации оценочных материалов по онкологии в амбулаторном звене

1. Основные понятия

Оценочные материалы - задания в виде компьютерных тестовых заданий и ситуационных задач.

Уровень сложности - распределение оценочных материалов от простого к сложному для оценки квалификации и соответствия должности экзаменуемых. В целях данного регламента уровень сложности подразделяется на: базовый (для ординаторов), сложный, очень сложный (для работающих врачей).

Тестовые задания - минимально достаточный перечень вопросов с ограничением времени выполнения, который позволяет сравнительно точно определить уровень теоретических знаний работников (далее - экзаменуемые).

Тестовые задания могут быть:

1) закрытого типа (каждый вопрос сопровождается готовыми вариантами ответов, из которых необходимо выбрать один или несколько правильных);

2) открытого типа (на каждый вопрос надо предложить свой ответ: дописать слово, словосочетание, предложение и т.д.);

3) на установление соответствия - необходимо установить соответствие элементов двух списков;

4) на установление последовательности - необходимо расположить элементы списка в определенной последовательности.

Дистракторы (от англ. Distract - отвлекать) - неправильные, но правдоподобные ответы среди перечня возможных ответов на вопрос тестового задания, их количество принято равным трем (3).

Ситуационные задачи - вид письменного задания, имитирующий ситуации, которые могут возникнуть в реальной действительности. Ситуационные задачи выступают средством, позволяющим объективно проверить умение экзаменуемых применять теоретические знания в практической деятельности.

Объективный структурированный клинический экзамен (ОСКЭ) - средство оценки, основанное на принципах объективности и стандартизации, которое позволяет обученным экзаменаторам оценить знание экзаменуемого по стандартизованным шкалам оценки. При применении этой методики экзаменуемые последовательно перемещаются по серии станций (рекомендовано от 10 до 20) с целью оценки их профессиональных умений и навыков в смоделированных условиях с ограничением времени пребывания. Для проведения ОСКЭ могут быть использованы различные тренажеры и симуляторы, стандартизированные пациенты, а также дополнительные диагностические элементы (результаты лабораторных и инструментальных исследований).

Стандартизированные пациенты - это лица, специально обученные действовать в качестве пациентов на ОСКЭ для оценки профессиональных умений и навыков экзаменуемых.

Станция - учебное помещение, где экзаменуемый демонстрирует конкретные профессиональные умения и компетенции в смоделированных условиях, максимально приближенных к реальной профессиональной деятельности.

Станции могут быть:

клинические - включают взаимодействие со стандартизированным пациентом (консультирование, сбор жалоб и анамнеза, постановка диагноза и пр.),

практические - включают выполнение манипуляций на симуляционном оборудовании, технических процедур (пальпация молочной железы, запись ЗКГ, инъекции и пр.),

статические - для выполнения письменных заданий: интерпретация лабораторно-инструментальных исследований, формирование плана лечения, выписка рецепта и пр.

Паспорт станции - документ, включающий название станции, продолжительность работы станции, необходимую информацию по оснащению станции, брифинг (краткое задание перед входом на станцию), сценарий, оценочные листы (далее - чек-листы), справочная информация и т.д.

Сценарий станции - инструкции для экзаменуемого, стандартизированного пациента (при наличии), экзаменатора в целях демонстрации со стороны экзаменуемых необходимых практических умений и навыков в соответствии с паспортом станции.

Чек-лист - балльная оценка, используемая экзаменаторами, при прохождении ОСКЭ экзаменуемыми.

База знаний - учебные материалы, справочники, классификаторы, нормативные акты, иные материалы, которые должны быть доступны для экзаменуемых в целях подготовки к оценке.

Доступные ресурсы - справочники, шкалы классификаторы, иные материалы, которые могут быть использованы экзаменуемыми во время выполнения оценочных заданий.

Автор - составитель оценочных материалов и/или паспорта ОСКЭ. У каждого вида оценочных материалов может быть свой автор.

Консультант - представитель амбулаторного звена онкологической службы, взаимодействует с Автором по формированию оценочных материалов с целью объективной оценки экзаменуемых.

Эксперт - представитель Управления по онкологии Департамента здравоохранения города Москвы - согласует оценочные материалы и паспорта ОСКЭ.

Рецензент - заместитель руководителя Департамента здравоохранения города Москвы, курирующий онкологическую службу - утверждает оценочные материалы и паспорта ОСКЭ.

2. Темы оценочных материалов

В целях данного регламента для подготовки оценочных материалов на знание общих вопросов определены следующие темы:

1. Нормативно-правовая база.

2. Канцер-регистр.

3. Организация онкологической помощи в Москве.

4. Стандарты оказания онкологической помощи и клиентские пути в онкологии.

5. Оценка интенсивности и характера болевого синдрома с использованием шкал оценки боли.

6. Система маршрутизации пациентов на лучевую терапию.

7. Система маршрутизации пациентов на проведение ПЭТ КТ и сцинтиграфию.

8. Реабилитация пациентов в послеоперационном периоде.

9. Оценка эффективности лечения, в том числе при проведении химиотерапевтического (для химиотерапевтов).

10. Проведение наблюдательных исследований (для химиотерапевтов.)

11. Система онкологических консилиумов: планирование, проведение, сопровождение.

12. Телемедицина в онкологии.

13. Паллиативная медицинская помощь.

14. Экстренная медицинская помощь

15. Оформление листков нетрудоспособности.

16. Оформление документов для проведения медико-социальной экспертизы.

17. Работа в ЕМИАС и качество ведения медицинской документации в электронном виде.

В целях данного регламента для подготовки оценочных материалов на знание специальных вопросов определены следующие нозологии/темы:

1. Гематология.

2. Онкомаммология.

3. Онкоурология.

4. Опухоли опорно-двигательного аппарата.

5. Онкогинекология.

6. Онкоколопроктология.

7. Опухоли головы и шеи.

8. Торакальная онкология.

9. Онкоофтальмология.

10. Нейроонкология.

11. Абдоминальная онкология.

12. Опухоли гепатопанкреатобилиарной зоны

13. Патоморфология.

14. Лучевая терапия.

15. Химиотерапевтическое лечение.

3. Формирование оценочных материалов

Для формирования оценочных материалов по каждой теме/нозологии Управлением по онкологии Департамента здравоохранения города Москвы определяется Автор.

Автор формирует оценочные материалы с привлечением Консультанта для более точного понимания требований к знаниям, умениям, навыкам, компетенциям для амбулаторного звена в онкологии.

Формирование оценочных материалов происходит в формате заданных шаблонов согласно приложениям 1 - 6 к настоящей Методологии.

Каждый вид оценочного материала должен относиться к каким-либо необходимым умениям по трудовым функциям врача-онколога в соответствии с профессиональным стандартом врача-онколога, утвержденным приказом Министерства труда и социальной защиты Российской Федерации от 2 июня 2021 года N 360н.

Для оценочных материалов необходимо придерживаться следующих правил:

1) содержание заданий должно быть максимально приближено к реальной действительности;

2) задания должны способствовать выявлять знания и умения в соответствии с существующими нормами, регламентами и правилами (клиентские пути, клинические рекомендации, правильная маршрутизация и т.д.);

3) основная часть задания должна быть предельно краткой и понятной;

4) ответы должны быть приблизительно одной длины;

5) номер места правильного ответа (для тестовых заданий) выбирается в случайном порядке;

6) ни один из дистракторов не должен являться частично правильным ответом;

7) в ответах нельзя использовать выражения "все", "ни одного",

"никогда", "всегда", "кроме" и т.д.;

8) при формулировке дистракторов нельзя использовать выражения "ни один из перечисленных", "все перечисленные".

По каждому виду оценочных материалов определяется базовое плановое количество и плановое время прохождения.

Для каждой темы/нозологии формируется база знаний в виде списка с указанием доступных ресурсов.

Автор передает сформированные оценочные материалы Эксперту для согласования. Эксперт может вернуть оценочные материалы на доработку с указанием конкретных недостатков и сроков для устранения.

После согласования Эксперт передает оценочные материалы Рецензенту на утверждение.

Рецензент может вернуть оценочные материалы Эксперту на доработку с указанием конкретных недостатков и сроков для устранения. В этом случае оценочные материалы дорабатываются Автором совместно с Экспертом.

Процесс согласования оценочных материалов в целевой модели должен происходить в Единой системе обучения и оценки с соответствующей ролевой моделью.

4. Определение планового времени

Для каждого вида оценочных материалов должно быть сформировано плановое время прохождения, исходя из следующих параметров:

1) время на подготовку;

2) время на прохождение оценочных материалов;

3) время на заключительный этап.

Время на подготовку отводится для инструкции прохождения того или иного задания. Инструкция может быть сформирована в письменном виде, в электронном виде, голосовым сообщением. Экзаменуемый в течение времени на подготовку должен четко понять, что от него требуется в качестве действий и ожидаемого результата. Рекомендуемое время на подготовку составляет от 1 до 3 минут.

Время на прохождение оценочных материалов отводится на выполнение теоретической или практической части оценки.

Рекомендуемое время для прохождения теоретической части составляет:

- для оценочных тестов - 1,5 минуты на каждый вопрос;

- для решения ситуационных задач - 20 минут на 1 ситуационную задачу. Рекомендуемое время для прохождения практической части составляет:

- для экзаменационного приема - от 5 до 10 минут;

- для работы на симуляционном оборудовании - от 5 до 10 минут.

Время на заключительный этап отводится на отображение результатов выполнения задания и комментарий Эксперта (при необходимости). Рекомендуемое время для заключительного этапа составляет от 2 до 5 минут.

5. Актуализация оценочных материалов

С целью объективной оценки знаний, умений, компетенций экзаменуемых оценочные материалы должны находиться в актуальном состоянии. Для этого не реже 1 раза в год Авторы, Консультанты, Эксперты и Рецензент должны подтвердить актуальность оценочных материалов.

Любой из участников процесса может дополнительно инициировать изменения, дополнения в оценочные материалы при наступлении обстоятельства для инициации, например, новые/измененные клинические рекомендации, новый/измененный нормативно-правовой акт, изменение процесса и так далее.

В этом случае инициатором формируется предложение об актуализации с указанием тех оценочных материалов, которые подлежат изменению. Процесс изменения аналогичен процессу формирования.

6. Формирование паспортов станций ОСКЭ

Для формирования ОСКЭ по онкологии Управлением по онкологии Департамента здравоохранения города Москвы (далее - Управление) совместно с Московским онкологическим обществом формируется перечень станций для прохождения ОСКЭ по форме согласно приложению 7 настоящей Методологии, который утверждается Рецензентом.

По каждой станции Управление определяет Автора, Консультанта и Экзаменаторов. Список Авторов, Консультантов и Экзаменаторов должен быть также утвержден Рецензентом по форме, согласно приложению 8 настоящей Методологии.

Автор формирует паспорт станции с привлечением Консультанта для более точного понимания требований к профессиональным умениям, навыкам, компетенциям для амбулаторного звена в онкологии.

Формирование паспорта станции происходит в формате заданного шаблона согласно приложению 9 к настоящей Методологии.

Каждая станция должна относиться к каким-либо необходимым умениям по трудовым функциям врача-онколога в соответствии с профессиональным стандартом врача-онколога, утвержденным приказом Министерства труда и социальной защиты Российской Федерации от 2 июня 2021 г. N 360н.

Паспорт станции должен включать сценарии, которые позволяют оценить профессионализм экзаменуемого, умение выполнять необходимые действия и коммуникативные навыки.

Паспорт станции должен соответствовать следующим критериям:

валидность - позволяет определить подлежащие проверке знания и умения, которые отражают поведение в реальной клинической ситуации в соответствии с профессиональным стандартом. Для этого необходимо формировать паспорт с моделированием реальной действительности, и соответствием требованиям нормативной базы;

надежность и справедливость оценки включают в себя следующие факторы:

все экзаменуемые получают одинаковый набор заданий;

для каждого участника должна быть сформирована четкая и понятная инструкция;

набор станций должен помочь оценить разные аспекты клинической компетентности экзаменуемого;

каждого экзаменуемого оценивает множество подготовленных экзаменаторов, наблюдающих за выполнением заданий на различных станциях;

на станциях, включающих выполнение процедур, используются симуляторы с компьютерным контролем и объективной оценкой в реальном времени;

практичность включает в себя следующие факторы:

задачи на станциях не должны быть изолированы друг от друга, регулировка нагрузки экзаменаторов, оставляя их только на тех станциях, где их присутствие необходимо;

разноуровневые чек-листы в зависимости от стажа работы и занимаемой должности экзаменуемого.

Паспорт станции передается на согласование Эксперту. Эксперт согласовывает паспорт с привлечением при необходимости представителей Московского онкологического общества. Эксперт может вернуть паспорт на доработку с указанием конкретных недостатков и сроков для их устранения.

После согласования Эксперт передает паспорт Рецензенту на утверждение.

Рецензент может вернуть паспорт Эксперту на доработку с указанием конкретных недостатков и сроков для устранения. В этом случае паспорт дорабатывается Автором совместно с Экспертом.

Процесс согласования паспортов станций в целевой модели должен происходить в Единой системе обучения и оценки с соответствующей ролевой моделью.