Приложение N 3. Перечень направлений для анализа работы ПК

Приложение N 3
к приказу
департамента образования
от 14 февраля 2019 г. N 143

Перечень направлений для анализа работы ПК

Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников ГИА, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих субъективность проверяющих экспертов.

При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:

1) Условия проведения проверки:

нахождение ПК в/вне здания РЦОИ, количество зданий, помещений, где размещается ПК;

количество аудиторий при работе ПК;

проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

работа экспертов-консультантов, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера

консультирования (консультация экспертов, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.);

наличие специально оборудованного в помещениях ПК рабочего места с выходом в информационно-телекоммуникационную сеть "Интернет" для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников ГИА фактов; востребованность этого рабочего места;

прочее (в случае выявления условий, существенно влияющих на качество работы ПК).

2) Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта.

3) Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).

4) Общее количество проверок, проведенных ПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению департамента образования).

5) Общее количество экспертов ПК, задействованных при проверке работ на разных этапах проведения ГИА (досрочный, основной и дополнительный).

6) Общее количество экспертов ПК, задействованных при проверке апелляционных работ. Принцип отбора экспертов, привлекаемых к рассмотрению апелляций.

7) Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.

8) Общее количество экспертов, осуществлявших третью проверку.

9) Доля работ, направленных на третью проверку после проверки в ПК, т.е. без учета пустых экзаменационных работ (средний показатель по всех комиссии).

10) Максимальное и минимальное значение индивидуальных показателей экспертов "доля экзаменационных работ, направленных на третью проверку".

11) Максимальное и минимальное количество работ, проверенных одним экспертом.

12) Перечень экспертов, регулярно (более чем 5% проверяемых работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами: случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 1.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	1	1	1	0	0	0	1	1	6
Эксперт 2	2	3	1	1	3	1	2	1	2	1	0	0	17

В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.

Случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 2.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	2	0	1	1	1	1	1	1	2	1	0	0	11
Эксперт 3	0	1	0	0	3	2	2	0	0	0	1	2	11

В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и