Приложение N 2. Перечень направлений для анализа работы Республиканской предметной комиссии

ГАРАНТ:

Нумерация приложений приводится в соответствии с источником

Информация об изменениях:

Приказом Министерства образования Республики Башкортостан от 1 июня 2016 г. N 711 настоящее приложение дополнено приложением N 2

Приложение N 2

к Порядку формирования

республиканских предметных комиссий

Перечень направлений для анализа работы Республиканской предметной комиссии

С изменениями и дополнениями от:

1 марта 2018 г.

Анализ работы Республиканской предметной комиссии (далее - РПК) проводится в целях оптимизации работы РПК по проверке развернутых ответов участников государственной итоговой аттестации по образовательным программам среднего общего образования (далее - ГИА), ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих субъективность проверяющих экспертов.

При анализе работы РПК необходимо обратить внимание на следующие направления деятельности РПК:

1. Условия проведения проверки:

нахождение РПК в здании Регионального центра обработки информации (далее - РЦОИ), количество помещений, где размещается РПК; количество аудиторий при работе РПК;

проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

работа экспертов-консультантов, назначенных председателем РПК при работе РПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов, находящихся в одном помещении (аудитории); консультация по оцениванию ответов на определенные задания и т. п.);

наличие специально оборудованного в помещениях РПК рабочего места с выходом в информационно-телекоммуникационную сеть "Интернет" для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников ГИА фактов; востребованность этого рабочего места;

прочее (в случае выявления условий, существенно влияющих на качество работы РПК).

2. Количество и доля экспертов РПК, имеющих статус ведущего, старшего, основного эксперта.

3. Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в РПК таких экспертов).

4. Общее количество проверок, проведенных РПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению Министерства образования Республики Башкортостан).

5. Общее количество экспертов РПК, задействованных при проверке работ на разных этапах проведения ГИА (досрочный, основной и дополнительный).

6. Общее количество экспертов РПК, задействованных при проверке апелляционных работ.

7. Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.

8. Общее количество экспертов, осуществлявших третью проверку.

Информация об изменениях:

Пункт 9 изменен с 10 апреля 2018 г. - Приказ Министерства образования Республики Башкортостан от 1 марта 2018 г. N 235

См. предыдущую редакцию

9. Доля работ, направленных на третью проверку после проверки в РПК, т. е. без учета пустых работ (средний показатель по всей комиссии).

Максимальное и минимальное значение индивидуальных показателей экспертов "доля работ, направленных на третью проверку".

Максимальное и минимальное количество работ, проверенных одним экспертом.

10. Перечень экспертов, регулярно (более, чем 5% проверяемых работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами:

случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы РПК, исключение из РПК, иное);

Пример 1.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	1	1	1	0	0	0	1	1	6
Эксперт 2	2	3	1	1	3	1	2	1	2	1	0	0	17

В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов РПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы РПК, исключение из РПК, иное);

Пример 2.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	2	0	1	1	1	1	1	1	2	1	0	0	11
Эксперт 3	0	1	0	0	3	2	2	0	0	0	1	2	11

В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы РПК, исключение из РПК, иное);

Пример 3.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	0	1	1	0	3	3	2	0	0	0	1	1	12
Итог	0	1	1	0	3	3	2	0	0	0	1	1	12
Эксперт на апелляции	2	3	1	0	3	2	2	1	1	1	1	2	19

В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.

другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы РПК, исключение из РПК, иное).

Информация об изменениях:

Пункт 11 изменен с 10 апреля 2018 г. - Приказ Министерства образования Республики Башкортостан от 1 марта 2018 г. N 235

См. предыдущую редакцию

11. Плановое количество экспертов РПК в следующем году, плановое количество экспертов, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта), предполагаемые показатели согласованности работы экспертов для присвоения статуса экспертам РПК при проведении квалификационных испытаний.

Планируемые изменения в процессах подготовки экспертов, формировании РПК, организации процедуры оценивания работ относительно предыдущего года.

12. Основные выводы.