Приложение 3. Минимальный перечень направлений для анализа работы ПК

Приложение 3

Минимальный перечень направлений для анализа работы ПК

Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников экзаменов, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих уровень субъективности проверяющих экспертов ПК.

При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:

1. Условия проведения проверки:

нахождение ПК в/вне здания РЦОИ, количество зданий, помещений, где размещается ПК;

количество аудиторий при работе ПК;

проведение оперативного семинара-согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

работа экспертов-консультантов ПК, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов ПК, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.), выполнение экспертами-консультантами ПК других работ в рамках задач, возложенных на ПК;

наличие специально оборудованного в помещениях работы ПК рабочего места с выходом в информационно-телекоммуникационную сеть "Интернет" для обеспечения возможности уточнения экспертами ПК изложенных в экзаменационных работах участников экзаменов фактов; востребованность этого рабочего места;

прочее (в случае выявления условий, существенно влияющих на качество работы ПК).

2. Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта ПК, принцип присвоения статуса экспертов ПК и планирование изменения этих принципов в перспективе.

3. Квалификация экспертов ПК (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).

4. Общее количество проверок, проведенных ПК (отдельно первой, второй, третьей проверок, проверок апелляционных работ, перепроверок по решению ОИВ).

5. Общее количество экспертов ПК, задействованных при проверке экзаменационных работ в разные периоды проведения ГИА (досрочный, основной и дополнительный).

6. Общее количество экспертов ПК, задействованных при проверке апелляционных работ. Принцип отбора экспертов ПК, привлекаемых к рассмотрению апелляций.

7. Статистика рассмотрения апелляций о несогласии с выставленными баллами (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции баллами, повышенными на апелляции баллами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции).

8. Общее количество экспертов ПК, осуществлявших третью проверку.

9. Доля экзаменационных работ, направленных на третью проверку после проверки в ПК, т.е. без учета пустых экзаменационных работ (средний показатель по всей комиссии).

10. Максимальное и минимальное значение индивидуальных показателей экспертов ПК "доля экзаменационных работ, направленных на третью проверку, от общего количества проверенных экспертом ПК работ".

11. Максимальное и минимальное количество экзаменационных работ, проверенных каждым экспертом ПК.

12. Перечень экспертов ПК, регулярно (более чем 5% проверяемых экзаменационных работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами ПК:

12.1. Случаи существенной разницы между суммой баллов первого и второго экспертов ПК; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 1.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	1	1	1	0	0	0	1	1	6
Эксперт 2	2	3	1	1	3	1	2	1	2	1	0	0	17

В приведенном примере разница между суммами баллов, выставленных экспертами ПК, составляет 17 - 6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.

12.2. Случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 2.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	2	0	1	1	1	1	1	1	2	1	0	0	11
Эксперт 3	0	1	0	0	3	2	2	0	0	0	1	2	11

В приведенном примере разницы между суммами баллов, выставленных экспертами ПК, нет: все 3 эксперта ПК выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.

12.3 Случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 3.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	0	1	1	0	3	3	2	0	0	0	1	1	12
Итог	0	1	1	0	3	3	2	0	0	0	1	1	12
Эксперт на апелляции	2	3	1	0	3	2	2	1	1	1	1	2	19

В приведенном примере эксперты ПК во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов ПК. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом ПК, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта ПК.

12.4. Другие случаи рассогласованной работы экспертов ПК, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

13. Результаты выборочной экспертизы председателем ПК результатов оценивания развернутых ответов экспертами ПК, показавших рассогласованную работу при проведении оценивания.

14. Плановое количество экспертов ПК в следующем году, плановое количество экспертов ПК, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта ПК), предполагаемые показатели согласованности работы экспертов для присвоения статуса экспертам ПК при проведении квалификационных испытаний.

15. Планируемые изменения в процессах подготовки экспертов ПК, формировании ПК, организации процедуры оценивания работ относительно предыдущего года.

16. Основные выводы.