Приложение 3. Порядок формирования предметных комиссий Забайкальского края, подготовки экспертов, присвоения статуса экспертам, анализа работы при проведении государственной итоговой аттестации по программам основного общего и среднего общего образования

Приложение 3
к приказу Минобразования Забайкальского края
от 16 февраля 2016 г. N 84

Порядок
формирования предметных комиссий Забайкальского края, подготовки экспертов, присвоения статуса экспертам, анализа работы при проведении государственной итоговой аттестации по программам основного общего и среднего общего образования

Порядок формирования предметных комиссий государственной экзаменационной комиссии Забайкальского края (ГЭК), подготовки экспертов, присвоения статуса экспертам, анализа работы (далее - Порядок) разработан на основе Положения о предметных комиссиях ГЭК, методических рекомендаций Рособрнадзора по разработке положения о предметных комиссиях.

Порядок формирования предметных комиссий (ПК), подготовки экспертов, присвоения статуса экспертам предметных комиссий утверждается приказом Минобразования Забайкальского края.

Настоящий Порядок определяет механизм формирования составов предметных комиссий, квалификационные требования для определения статусов экспертов, согласование подходов к оцениванию экзаменационных работ.

Примерный план-график проведения мероприятий по подготовке экспертов и формированию ПК приведен в Приложении 2 Методических рекомендаций Рособрнадзора по формированию и организации работы ПК при проведении ГИА по образовательным программам среднего общего образования. Сроки проведения каждого из мероприятий по подготовке экспертов и формированию ПК устанавливаются на региональном уровне в рамках требований к срокам, определенным на федеральном уровне.

1. Квалификационные требования к экспертам

1.1. Общие требования к экспертам:

наличие высшего образования;

соответствие квалификационным требованиям, указанным в квалификационных справочниках, и (или) профессиональных стандартах;

наличие опыта работы в организациях, осуществляющих образовательную деятельность и реализующих образовательные программы среднего общего, среднего профессионального или высшего образования (не менее 3 лет);

прохождение обучения на региональном уровне с использованием межрегионального банка заданий ГИА, учебно-методических материалов ФИПИ в соответствии с графиком по программам "Подготовка экспертов предметных комиссий по проверке экзаменационных работ участников ГИА";

наличие положительного результата прохождения квалификационных испытаний с использованием модулей ФИПИ "Эксперт ЕГЭ";

наличие документа, подтверждающего получение дополнительного профессионального образования, включающего в себя практические занятия (не менее 18 часов) по оцениванию образцов экзаменационных работ в соответствии с критериями оценивания по соответствующему учебному предмету, определяемыми Рособрнадзором.

1.2. Эксперту ЕГЭ может быть присвоен один из трех статусов: ведущий эксперт, старший эксперт, основной эксперт.

Ведущий эксперт - статус, позволяющий быть председателем или заместителем председателя ПК, осуществлять руководство подготовкой и/или подготовку экспертов на региональном уровне, участвовать в межрегиональных перекрестных проверках, привлекаться к рассмотрению апелляций по учебному предмету, осуществлять проверку и перепроверку развернутых ответов участников ГИА в составе ПК, в том числе в качестве третьего эксперта.

Старший эксперт - статус, позволяющий осуществлять проверку и перепроверку выполнения заданий с развернутым ответом ГИА в составе ПК, в том числе назначаться для третьей проверки выполнения заданий с развернутым ответом ГИА, участвовать в межрегиональных перекрестных проверках, а также в проверках в рамках рассмотрения апелляции о несогласии с выставленными баллами.

Основной эксперт - статус, позволяющий осуществлять первую или вторую проверку выполнения заданий с развернутым ответом ГИА, участвовать в межрегиональных перекрестных проверках в составе ПК.

Для присвоения эксперту того или иного статуса должно быть установлено соответствие его квалификации:

требованиям к экспертам, определенным Порядком;

требованиям к опыту оценивания экзаменационных работ участников ГИА; требованиям к результатам квалификационного испытания;

требованиям к согласованности работы при проверке в предыдущем году и к значениям показателей статистики удовлетворенных апелляций.

1.3. Дополнительные требования к ведущему эксперту:

наличие опыта организационной работы в предметной комиссии, отсутствие такого опыта допускается в случае, когда в состав ПК входит менее 10 человек;

наличие опыта оценивания развернутых ответов участников ГИА не менее трех лет.

Дополнительные требования к старшему эксперту: наличие опыта оценивания развернутых ответов участников ГИА.

2. Согласование подходов к оцениванию экзаменационных работ участников ГИА

2.1. Для обеспечения единства оценивания развернутых ответов участников ГИА реализуется трехуровневая система согласования подходов к оцениванию

на федеральном уровне: формирование согласованных единых подходов к оцениванию у ведущих экспертов;

на региональном уровне: внедрение согласованных на федеральном уровне подходов к оцениванию в процессе подготовки экспертов;

на уровне предметных комиссий: оперативное согласование подходов к оцениванию между экспертами ПК по предметам непосредственно перед проверкой экзаменационных работ, проводимое в день начала проверки.

Для обеспечения единства оценивания заданий ОГЭ реализуется двухуровневая система согласования подходов к оцениванию:

на региональном уровне: применение согласованных подходов к оцениванию в процессе подготовки экспертов;

на уровне предметных комиссий: оперативное согласование подходов к оцениванию между экспертами ПК по предметам непосредственно перед проверкой экзаменационных работ, проводимое председателем, заместителем председателя предметной комиссии в день начала проверки.

2.2. Подготовка экспертов проводится председателями и заместителями председателей ПК в соответствии с образовательной программой и с использованием учебно-методических материалов для подготовки экспертов ЕГЭ и ОГЭ, размещенных на официальном сайте ФИПИ (www.fipi.ru).

3. Показатели согласованности и их значения по результатам квалификационных испытаний для присвоения статусов экспертам ЕГЭ

Значения показателей согласованности оценивания, определенные по результатам квалификационных испытаний, должны соответствовать значениям, определенным Минобразования Забайкальского края для присвоения экспертам каждого из статусов. Показатель: процент заданий/критериев оценивания, по которым оценки эксперта не совпали с оценками, выработанными при согласовании подходов к оцениванию развернутых ответов.

Значения показателя для присвоения экспертам статусов

Предмет	Максимальное значение показателя
	Ведущий эксперт	Старший эксперт	Основной эксперт
Русский язык Иностранные языки Обществознание Литература	10%	15%	25%
Биология История	10%	15%	20%
Физика Химия Информатика и ИКТ География	5%	7%	10%
Математика	0%	5%	7%

Показатель: количество заданий /критериев оценивания, расхождение в которых составило 2 и более баллов по заданию/критерию оценивания.

Значения показателя для присвоения экспертам статусов

	Максимальное значение показателя
Ведущий эксперт	0
Старший эксперт	0

4. Допуск экспертов к прохождению квалификационных испытаний, проведение квалификационных испытаний экспертов

4.1. Условия допуска экспертов ПК к квалификационным испытаниям:

выполнение общих требований к экспертам;

прохождение программы подготовки экспертов в полном объеме (не менее 18 часов);

наличие возможности выполнять график работы ПК;

наличие согласования руководителя постоянного места работы на включение в состав ПК.

4.2. Квалификационное испытание для экспертов проводится ежегодно.

4.3. Квалификационное испытание для экспертов ЕГЭ проводится непосредственно в Интернет-системе дистанционной подготовки экспертов "Эксперт ЕГЭ", (отбор работ для создания измерительных материалов осуществляет ФИПИ).

4.4. По итогам квалификационных испытаний эксперту ЕГЭ может быть присвоен один из трех статусов: ведущий эксперт, старший эксперт, основной эксперт.

4.5. Эксперты, не прошедшие квалификационные испытания в текущем году, не допускаются к включению в состав ПК и не могут принимать участие в проверке развернутых ответов участников ГИА в текущем году.

4.6. После обучения эксперты ПК ОГЭ выполняют итоговые задания, подготовленные председателем ПК, в течение марта - апреля текущего года и по итогам выполнения включаются в состав ПК по решению председателя ПК.

5. Присвоение статуса экспертам ПК ЕГЭ и привлечение экспертов к работе в ПК

5.1. Для присвоения эксперту ЕГЭ того или иного статуса должно быть установлено соответствие его квалификации:

требованиям к экспертам, определенным Порядком проведения ГИА;

требованиям к опыту оценивания экзаменационных работ участников ГИА;

требованиям к результатам квалификационного испытания;

требованиям к согласованности работы при проверке в предыдущем году и к значениям показателей статистики удовлетворенных апелляций.

5.2. Функционал, доступный для эксперта ЕГЭ в соответствии с присвоенным ему статусом:

Ведущий эксперт

может быть председателем или заместителем председателя ПК;

осуществляет руководство подготовкой и (или) подготовку экспертов на региональном уровне;

участвует в межрегиональных перекрестных проверках;

осуществляет проверку и перепроверку заданий, в том числе в качестве третьего эксперта;

привлекается к рассмотрению апелляций по предмету,

привлекается в качестве консультанта.

Старший эксперт

осуществляет проверку и перепроверку выполнения заданий;

назначается для третьей проверки выполнения заданий;

участвует в межрегиональных перекрестных проверках;

привлекается к рассмотрению апелляций по предмету.

Основной эксперт осуществляет первую и (или) вторую проверку заданий.

5.3. Председателями и заместителями председателей ПК ЕГЭ могут быть назначены только эксперты, имеющие статус ведущего эксперта.

5.4. Кандидаты в члены Федеральной предметной комиссии представляются председателем ПК по результатам работы ПК в предыдущие годы и по результатам квалификационных испытаний, согласовываются с ФГБНУ "Федеральный институт педагогических измерений" и утверждаются Рособрнадзором.

Привлекаться к рассмотрению апелляций о несогласии с выставленным баллом, когда возникают спорные вопросы по оцениванию развернутого ответа участника ГИА-могут только эксперты, которым в текущем году присвоен статус "ведущий эксперт" или "старший эксперт" и ранее не проверявшие экзаменационную работу обучающегося, выпускника прошлых лет, подавшего апелляцию.

Привлекаться к проведению перепроверки экзаменационных работ участников ГИА, инициированной Министерством образования, науки и молодежной политики или председателем ГЭК Забайкальского края, могут только эксперты, которым в текущем году присвоен статус "ведущий эксперт" или "старший эксперт".

Привлекаться к проведению перепроверки экзаменационных работ участников ГИА, инициированной Рособрнадзором, могут только эксперты, которые являются членами комиссии, создаваемой Рособрнадзором.

Привлекаться к участию в межрегиональной перекрестной проверке могут только эксперты, которым в текущем году присвоен статус "ведущий эксперт" и "старший эксперт".

6. Формирование составов предметных комиссий ЕГЭ на основе присвоенных статусов

6.1. Краевой центр оценки качества образования (далее КЦОКО) подбирает кандидатуры председателей и заместителей председателей предметных комиссий для согласования с руководителями вузов г. Читы и с Рособрнадзором (декабрь - январь).

6.2. Председатели предметных комиссий совместно с заместителями председателей ПК формируют списки кандидатов в члены предметных комиссий на основе анализа работы ПК в предыдущем году, в том числе согласованности работы экспертов и статистики удовлетворенных апелляций, и передают их в региональный центр обработки информации (декабрь - январь).

6.3. КЦОКО формирует списки кандидатур в члены ПК для согласования с органами местного самоуправления в сфере образования, образовательными организациями общего и профессионального образования (январь - февраль).

6.4. Председатели предметных комиссий совместно с заместителями председателей ПК и КЦОКО организуют обучение экспертов (февраль-март) на основе методических материалов ФИПИ и программы Института развития образования Забайкальского края "Подготовка экспертов предметных комиссий проверке экзаменационных работ участников ГИА".

6.5. Председатели предметных комиссий совместно с заместителями председателей ПК ЕГЭ и КЦОКО организуют квалификационные испытания для каждого эксперта по модулям ФИПИ "Эксперт ЕГЭ", ведут учет результатов квалификационных испытаний (март).

6.6. Председатели предметных комиссий совместно с заместителями председателей ПК ЕГЭ вносят предложения по присвоению статуса каждому эксперту и по составу ПК в целом руководителю КЦОКО.

6.7. Каждому эксперту выдается удостоверение по форме ИРО Забайкальского края об обучении, результатах квалификационных испытаний и о присвоенном статусе;

6.8. КЦОКО на основе ведомостей о выдаче удостоверений, представленных председателями предметных комиссий и заместителями председателей ПК, готовит проект приказа Минобразования Забайкальского края по утверждению составов ПК по каждому предмету.

7. Анализ работы ПК

7.1. По окончании проведения ГИА и проверки экзаменационных работ участников ГИА проводится анализ работы ПК.

7.2. Анализ работы ПК проводится председателем и заместителем председателя ПК на основании итогов и результатов работы ПК с использованием информации, предоставленной РЦОИ.

7.3. Перечень направлений для анализа работы ПК

Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников ГИА, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих субъективность проверяющих экспертов.

Анализ работы ПК запрашивается Рособрнадзором и делается по форме, присланной из ФГБНУ "ФИПИ". Анализ работы ПК направляется в ФГБНУ "ФИПИ" в соответствии с запросом.

Анализ работы ПК включается в аналитические отчёты по результатам государственной итоговой аттестации по программам основного общего и среднего общего образования и направляется в Минобразования Забайкальского края и в местные органы самоуправления в сфере образования для использования в работе.

Анализ работы ПК выполняется по направлениям:

1. Условия проведения проверки:

нахождение ПК в/вне здания РЦОИ, количество зданий, помещений, где размещается ПК;

количество аудиторий при работе ПК;

проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

работа экспертов-консультантов, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.);

наличие специально оборудованного в помещениях ПК рабочего места с выходом в информационно-телекоммуникационную сеть "Интернет" для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников ГИА фактов; востребованность этого рабочего места;

прочее (в случае выявления условий, существенно влияющих на качество работы ПК).

2. Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта.

3. Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).

4. Общее количество проверок, проведенных ПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению Минобразования Забайкальского края).

5. Общее количество экспертов ПК, задействованных при проверке работ на разных этапах проведения ГИА (досрочный, основной и дополнительный).

6. Общее количество экспертов ПК, задействованных при проверке апелляционных работ.

7. Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.

8. Общее количество экспертов, осуществлявших третью проверку.

9. Доля работ, направленных на третью проверку.

10. Перечень экспертов, регулярно (более, чем 5% проверяемых работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами:

случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 1.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	1	1	1	0	0	0	1	1	6
Эксперт 2	2	3	1	1	3	1	2	1	2	1	0	0	17

В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 2.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	2	0	1	1	1	1	1	1	2	1	0	0	11
Эксперт 3	0	1	0	0	3	2	2	0	0	0	1	2	11

В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

Пример 3.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	0	1	1	0	3	3	2	0	0	0	1	1	12
ИТОГ	0	1	1	0	3	3	2	0	0	0	1	1	12
Эксперт на апелляции	2	3	1	0	3	2	2	1	1	1	1	2	19

В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.

другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

11. Плановое количество экспертов ПК в 2016 году, плановое количество экспертов, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта).

12. Основные выводы.