Приложение. Положение о предметных комиссиях по проверке развёрнутых ответов участников государственной итоговой аттестации по образовательным программам основного общего и среднего общего образования в городе Севастополе

Приложение
к приказу
Департамента образования
и науки города Севастополя
от 3 марта 2023 г. N 224-П

УТВЕРЖДЕНО
приказом
Департамента образования и
науки города Севастополя
от 3 марта 2023 г. N 224-П

Положение о предметных комиссиях по проверке развёрнутых ответов участников государственной итоговой аттестации по образовательным программам основного общего и среднего общего образования в городе Севастополе

1. Общие положения

Положение о предметных комиссиях по проверке развёрнутых ответов участников государственной итоговой аттестации по образовательным программам основного общего и среднего общего образования в городе Севастополе (далее - Положение о ПК) разработано в соответствии со следующими нормативными правовыми актами:

- Федеральный закон Российской Федерации (далее - РФ) от 29.12.2012 N 273-ФЗ "Об образовании в Российской Федерации";

- постановление Правительства РФ от 29.11.2021 N 2085 "О федеральной информационной системе обеспечения проведения государственной итоговой аттестации обучающихся, освоивших основные образовательные программы основного общего и среднего общего образования, и приема граждан в образовательные организации для получения среднего профессионального и высшего образования и региональных информационных системах обеспечения проведения государственной итоговой аттестации обучающихся, освоивших основные образовательные программы основного общего и среднего общего образования";

- приказ Министерства просвещения РФ (далее - Минпросвещения) и Федеральной службы по надзору в сфере образования и науки (далее - Рособрнадзор) от 07.11.2018 N 190/1512 "Об утверждении Порядка проведения государственной итоговой аттестации по образовательным программам среднего общего образования";

- приказ Минпросвещения и Рособрнадзора от 07.11.2018 N 189/1513 "Об утверждении Порядка проведения государственной итоговой аттестации по образовательным программам основного общего образования";

- иные нормативно-правовые акты.

2. Деятельность ПК

Проверка развёрнутых ответов участников государственной итоговой аттестации по образовательным программам основного общего и среднего общего образования (далее - ГИА), в том числе устных ответов, осуществляется ПК по следующим учебным предметам: русский язык, математика (кроме базовой), физика, химия, биология, история, география, обществознание, литература, информатика (кроме единого государственного экзамена (далее - ЕГЭ)), иностранные языки - английский, немецкий, французский, испанский, китайский.

ПК по каждому учебному предмету создает Департамент образования и науки города Севастополя (далее - Департамент), при этом для основного общего и среднего общего образования создаются разные ПК.

Кандидатуры председателей по каждой ПК представляются Департаментом на согласование в Рособрнадзор в сроки, указанные в пункте 8 настоящего Положения.

Формирование составов ПК организует председатель государственной экзаменационной комиссии (далее - ГЭК) по представлению председателей ПК не позднее чем за один месяц до начала ГИА.

ПК в своей деятельности руководствуется нормативными правовыми актами Минпросвещения, Рособрнадзора, инструктивно-методическими документами Рособрнадзора по вопросам организационно-технологического сопровождения ГИА, нормативными правовыми актами Департамента.

ПК прекращает свою деятельность с момента создания ПК для проведения ГИА в следующем году.

Общее руководство и координацию деятельности ПК по каждому учебному предмету осуществляет ее председатель.

Департамент обеспечивает работу ПК в помещениях, исключающих возможность доступа к ним посторонних лиц и несанкционированного распространения информации ограниченного доступа, которые расположены в непосредственной близости от регионального центра обработки информации города Севастополя (далее - РЦОИ), развёрнутого на базе Государственного бюджетного учреждения города Севастополя "Региональный центр информатизации и оценки качества образования" (далее - РЦИОКО), или непосредственно в РЦОИ.

Организация допуска в помещения для работы ПК должна обеспечивать пропуск только лиц, определенных руководящими документами.

Департамент по представлению председателей ПК утверждает перечень дополнительных средств и материалов, допустимых к использованию экспертами ПК в помещениях работы ПК во время проверки экзаменационных работ (далее - ЭР) (например, программное обеспечение (далее - ПО) рабочих мест с выходом в сеть "Интернет", а также средства обучения и воспитания, использованные участниками во время выполнения ими ЭР в соответствии с нормативным правовым актом Минпросвещения и Рособрнадзора, устанавливающим сроки и продолжительность проведения экзаменов по каждому предмету, а также требования к средствам обучения и воспитания, используемым на экзаменах).

Департамент обеспечивает наличие в необходимом количестве специальных рабочих мест с выходом в сеть "Интернет" для предоставления возможности каждому эксперту ПК уточнить и (или) проверить изложенные в ЭР участников факты (например, сверка с информацией из источников, проверка приведенных участниками фамилий, названий, фактов и т.п.). При необходимости на указанные рабочие места может быть заблаговременно установлено ПО в соответствии с утверждённым Департаментом перечнем дополнительных средств и материалов, допустимых к использованию экспертами ПК в помещениях работы ПК во время проверки ЭР.

Информационное и организационно-технологическое обеспечение деятельности ПК осуществляет РЦОИ.

В случае возникновения ситуаций, не предусмотренных руководящими документами, соответствующее решение принимает председатель ПК и (или) руководитель РЦОИ в рамках своей компетенции с обязательным последующим информированием ГЭК о принятом решении.

В период организации и проведения ГИА ПК осуществляет проверку:

- развернутых ответов участников, выполненных на бланках ответов N 2 (лист 1 и 2) (далее - БО-2, БО-2-1, БО-2-2), в том числе на дополнительных БО-2 (далее - ДБО-2);

- развёрнутых письменных ответов участников экзаменов в форме государственного выпускного экзамена (далее - ГВЭ, ГВЭ-9, ГВЭ-11), выполненных на бланках ответов (далее - БО), в том числе на дополнительных БО;

- устных ответов участников экзаменов в форме ЕГЭ по иностранным языкам;

- устных ответов участников экзаменов в форме ГВЭ.

Распределение функций между экспертами ПК осуществляется в зависимости от статуса, присвоенного эксперту ПК по результатам квалификационного испытания.

ЭР участников проходят следующие виды проверок:

- проверку двумя экспертами ПК (далее - первая и вторая проверки), в том числе и в рамках межрегиональной перекрёстной проверки;

- третью проверку, в том числе и в рамках межрегиональной перекрёстной проверки;

- перепроверку;

- установление правильности оценивания развернутого ответа апеллянта (в рамках рассмотрения апелляции о несогласии с выставленными баллами);

- межрегиональную перекрестную перепроверку в рамках рассмотрения апелляции о несогласии с выставленными баллами.

ЭР участников ГВЭ проходят следующие виды проверок:

- первую и вторую проверки;

- перепроверку;

- установление правильности оценивания развернутого ответа апеллянта (в рамках рассмотрения апелляции о несогласии с выставленными баллами).

Обработка бланков ЕГЭ, основного государственного экзамена (далее - ОГЭ), ГВЭ-9, ГВЭ-11 заканчивается в следующие сроки:

- русский язык ЕГЭ, ГВЭ-11 - не позднее шести календарных дней после проведения экзамена;

- математика (профильная) ЕГЭ, математика ГВЭ-11 - не позднее четырех календарных дней после проведения экзамена;

- предметы по выбору ЕГЭ - не позднее четырех календарных дней после проведения экзамена;

- экзамены ЕГЭ, ОГЭ, ГВЭ-9, ГВЭ-11 дополнительного периода, резервных сроков каждого из периодов проведения экзаменов, - не позднее трех календарных дней после проведения соответствующего экзамена;

- экзамены ОГЭ, ГВЭ-9 - не позднее десяти календарных дней после проведения соответствующего экзамена.

Учёт экземпляров критериев оценивания развернутых ответов ЕГЭ и ОГЭ, ключей правильных ответов на задания ГВЭ осуществляет ответственный сотрудник РЦОИ.

Департамент обеспечивает организацию видеонаблюдения, в том числе видеозаписи в помещениях ПК.

3. Порядок формирования ПК и привлечения экспертов к работе в ПК

Председатель ПК назначается Департаментом по согласованию с Рособрнадзором.

Состав ПК формируется из представителей организаций, осуществляющих образовательную деятельность и реализующих образовательные программы среднего общего, среднего профессионального или высшего образования (далее - ОО).

Списки кандидатов в эксперты ПК подают руководители ОО.

Состав ПК формируется из лиц, отвечающих следующим требованиям:

- наличие высшего образования;

- соответствие квалификационным требованиям, указанным в квалификационных справочниках и (или) профессиональных стандартах;

- наличие опыта работы в ОО не менее трёх лет;

- наличие документа, подтверждающего получение дополнительного профессионального образования, включающего в себя практические занятия (не менее 18 часов) по оцениванию образцов ЭР в соответствии с критериями оценивания по соответствующему предмету.

Все кандидаты в эксперты ПК принимают участие в семинарах и практикумах, организуемых с целью достижения согласованности в работе ПК.

Кандидату в эксперты ПК необходимо иметь положительные результаты квалификационного испытания, организованного и проведённого в текущем году в установленном порядке.

Департамент организует деятельность по недопущению ситуаций, при которых личная заинтересованность экспертов ПК (председателя, заместителя председателя, экспертов) влияет или может повлиять на надлежащее, объективное и беспристрастное исполнение функций, возложенных на ПК, в том числе ситуаций использования в рекламных целях публикации информации о принадлежности экспертов ПК (председателя, заместителя председателя, экспертов) к числу лиц, участвующих в проверке ЭР.

Окончательный состав ПК определяется председателями ПК после успешного прохождения квалификационных испытаний и присвоения статуса эксперту, согласовывается с ГЭК и утверждается соответствующим приказом Департамента.

Примерный план-график проведения мероприятий по подготовке экспертов и формированию ПК приведен в пункте 8 настоящего Положения.

Статусы экспертов ПК.

По результатам прохождения квалификационных испытаний эксперту может быть присвоен один из статусов: ведущий, старший, основной.

Заместителем председателя ПК может быть назначен эксперт ПК, имеющий статус "ведущий".

Ведущий эксперт ПК - статус, присваиваемый председателю ПК и заместителю председателя ПК, позволяющий:

а) осуществлять руководство подготовкой и (или) подготовку экспертов ПК на региональном уровне;

б) консультировать экспертов ПК по вопросам оценивания развернутых ответов участников (по поручению председателя ПК);

в) устанавливать правильность оценивания развернутого ответа апеллянта и присутствовать во время рассмотрения апелляции в рамках рассмотрения апелляции о несогласии с выставленными баллами (по поручению председателя ПК);

г) осуществлять первую, вторую, третью проверки, перепроверку развернутых ответов участников в составе ПК, в том числе и в рамках межрегиональной перекрёстной проверки;

д) осуществлять межрегиональную перекрестную перепроверку в рамках рассмотрения апелляции о несогласии с выставленными баллами;

е) осуществлять отбор изображений незаполненных участниками бланков для развёрнутых ответов.

Старший эксперт ПК - статус, позволяющий:

а) консультировать экспертов ПК по вопросам оценивания развернутых ответов участников (по назначению председателя ПК);

б) осуществлять первую, вторую и третью проверки, перепроверку развернутых ответов участников в составе ПК, в том числе и в рамках межрегиональной перекрёстной проверки;

в) устанавливать правильность оценивания развернутого ответа апеллянта и присутствовать во время рассмотрения апелляции в рамках рассмотрения апелляции о несогласии с выставленными баллами (по поручению председателя ПК);

г) осуществлять отбор изображений незаполненных участниками бланков для развёрнутых ответов.

Основной эксперт ПК - статус, позволяющий:

а) осуществлять первую, вторую проверки развернутых ответов участников экзаменов, в том числе и в рамках межрегиональной перекрёстной проверки;

б) осуществлять отбор изображений незаполненных участниками бланков для развёрнутых ответов.

Квалификационные требования для присвоения статуса экспертам ПК.

Для присвоения экспертам ПК того или иного статуса устанавливаются квалификационные требования:

- установленные к экспертам;

- к опыту оценивания ЭР участников;

- к результатам квалификационного испытания;

- к согласованности работы при проверке в предыдущем году и к значениям показателей статистики удовлетворенных апелляций (кроме экспертов ПК, включаемых в ПК в первый раз);

- к опыту организационной работы в ПК или ГЭК.

Председателю ПК присваивается статус "ведущий эксперт ПК" без участия в квалификационных испытаниях.

Для присвоения статуса "ведущий эксперт ПК" необходим опыт организационной работы в ПК или ГЭК. Отсутствие такого опыта допускается в случае, когда в состав ПК входит менее 10 человек.

Статусы "ведущий эксперт ПК" и "старший эксперт ПК" могут присваиваться только экспертам ПК, имеющим опыт оценивания развернутых ответов участников экзаменов.

Для присвоения статуса "ведущий эксперт ПК" опыт оценивания должен составлять не менее 3-х лет. Отсутствие опыта проверки допускается только для вновь организуемых ПК по соответствующему иностранному языку (в случаях, когда ранее не создавалась ПК по соответствующему иностранному языку).

Значения показателей согласованности оценивания, определенные по результатам квалификационных испытаний, должны соответствовать установленным значениям для присвоения экспертам ПК каждого из статусов.

Организация квалификационного испытания.

Формат проведения квалификационных испытаний определяется по согласованию с председателем ПК.

Порядок допуска лиц, претендующих на включение в состав ПК, к прохождению квалификационного испытания устанавливает Департамент.

Квалификационное испытание проводится ежегодно.

Квалификационные испытания могут проводиться с использованием Интернет-системы дистанционной подготовки экспертов ПК "Эксперт ЕГЭ" (отбор работ для создания измерительных материалов осуществляется на федеральном уровне).

Лица, не прошедшие квалификационные испытания в текущем году, не допускаются к включению в состав ПК и не могут принимать участие в проверке развернутых ответов участников экзаменов в текущем году.

Согласование подходов к оцениванию развёрнутых ответов участников на федеральном и региональном уровнях.

Мероприятия по согласованию подходов к оцениванию развернутых ответов участников осуществляются на федеральном и региональном уровнях.

На федеральном уровне система согласования включает следующие мероприятия для экспертов ПК, имеющих статус ведущих экспертов ПК в рамках очных мероприятий с участием членов комиссий по разработке контрольно-измерительных материалов (далее - КИМ):

- обсуждение и выработка подходов к оцениванию типичных случаев, вызывающих затруднения у экспертов ПК при проверке и оценивании;

- проверка и оценивание образцов ЭР в удаленном режиме;

- анализ результатов проверки и оценивания.

На региональном уровне система согласования включает следующие мероприятия:

- внедрение согласованных на федеральном уровне подходов к проверке и оцениванию в процессе подготовки экспертов ПК. Подготовка экспертов ПК должна осуществляться под руководством экспертов ПК, имеющих статус "ведущий эксперт", и включать практические занятия по оцениванию развернутых ответов участников предыдущих лет;

- обязательное проведение в течение не менее чем 60 минут оперативного согласования подходов к оцениванию ответов на каждое задание с развернутым ответом между экспертами ПК непосредственно перед проверкой работ, проводимого в день начала проверки развернутых ответов участников или накануне после получения критериев оценивания развернутых ответов из РЦОИ.

Мероприятия по согласованию подходов к оцениванию развернутых ответов участников на региональном уровне организует Департамент. Подготовка экспертов ПК должна проводиться в соответствии с образовательными программами и с использованием:

учебно-методических материалов для подготовки экспертов, размещенных на официальном сайте www.fipi.ru:

образцов развернутых ответов участников прошлых лет, предоставленных РЦОИ в соответствии с перечнем требований к ЭР, сформулированным председателем ПК.

4. Проверка развёрнутых ответов

4.1. Организация проведения проверки развёрнутых ответов.

Председатель ПК заблаговременно направляет в Департамент информацию о необходимости принятия локальных актов, содержащих перечень технических средств и справочных материалов на бумажных носителях, разрешенных к использованию экспертами ПК по соответствующему учебному предмету.

Не позднее чем за один месяц до начала проведения экзаменов председатель ПК передает в РЦОИ списочный состав экспертов ПК (с указанием статуса каждого эксперта ПК, присвоенного по результатам квалификационного испытания в текущем году) для внесения в региональную информационную систему (далее - РИС).

Списочный состав ПК, направляемый в РЦОИ для внесения в РИС, должен соответствовать списочному составу ПК, указанному в соответствующем приказе Департамента, и содержать информацию о статусе каждого эксперта ПК ("основной эксперт ПК", "старший эксперт ПК", "ведущий эксперт ПК") для корректного назначения экспертов ПК на соответствующие проверки.

Не позднее чем за 14 календарных дней до начала проведения обработки экзаменационных материалов (далее - ЭМ) председатель ПК и руководитель РЦОИ согласуют график работы ПК в период проведения обработки ЭМ по соответствующему учебному предмету с учетом требований к установленным срокам обработки ЭМ. Данная информация используется РЦОИ для назначения в РИС экспертов ПК на проверку ЭР.

Председатель ПК согласует с руководителем РЦОИ график работы экспертов ПК, проводящих проверку изображений ЭР, предположительно не заполненных участниками.

К проверке принимаются письменные развернутые ответы участников, выполненные только на БО-2 и ДБО-2 и заполненные в соответствии с правилами заполнения бланков; письменные развернутые ответы участников ГВЭ, выполненные на бланках ответов на задания (дополнительных бланках ответов на задания), устные ответы участников ГИА по иностранным языкам на электронных носителях, определенных РЦОИ.

В рамках проверки ЭР ПК по соответствующему учебному предмету экспертами ПК могут быть выявлены ЭР, в которых:

а) БО-2-1 и БО-2-2 содержат знаки "Z";

б) развернутые ответы, оформленные на БО-2-1 и (или) БО-2-2 и (или) на ДБО-2, расположены на фоне проставленного знака "Z";

в) пространство, разделяющее развернутые ответы одной ЭР, занимает страницу или более (например, развернутые ответы оформлены на БО-2-1 и на ДБО-2, при этом БО-2-2 остался незаполненным, а также другие подобные случаи).

В случае если БО-2 и ДБО-2 содержат незаполненные области (за исключением регистрационных полей), организаторы погашают их "Z". Как правило, знак "Z" свидетельствует о завершении выполнения заданий КИМ, выполненных участником, которые оформляются на БО-2 или на ДБО-2 (при их использовании), а также свидетельствует о том, что данный участник свою ЭР завершил и более не будет возвращаться к оформлению своих ответов на соответствующих бланках (продолжению оформления ответов). Указанный знак проставляется на последнем листе соответствующего бланка ответов. Например, участник выполнил все задания с развернутым ответом (или посильные ему задания), оформил ответы на задания с развернутым ответом на БО-2-1 и бланке БО-2-2, ДБО-2 не запрашивал и соответственно не использовал их, таким образом, знак "Z" ставится на БО-2-2 в области указанного бланка, оставшейся незаполненной участником. Знак "Z" в данном случае на БО-2-1 не ставится, даже если на БО-2-1 имеется небольшая незаполненная область.

Во всех описанных выше случаях (или при выявлении подобных случаев) эксперту ПК необходимо произвести оценивание работы по критериям оценивания в полном объеме.

Не существует требования, согласно которому запрещается проверять часть ЭР, следующую после знака "Z", а также требований, согласно которым запрещается проверять ЭР в случаях, описанных в подпунктах "б" и "в" пункта 4.1 настоящего Положения. В то же время данный факт не означает, что по указанным ситуациям ГЭК не проводятся соответствующие служебные проверки, позволяющие исключить факт нарушения. В случае установления факта нарушения (после проведения соответствующей проверки) председатель ГЭК принимает решение об аннулировании результатов экзаменов.

При выявлении случаев, указанных в подпунктах "б" и "в", а также других случаев, свидетельствующих о возможном нарушении порядка проведения ГИА, эксперту ПК необходимо проинформировать председателя ПК, который, в свою очередь, информирует председателя ГЭК о выявленной ЭР с указанием всей необходимой информации об указанной ЭР. Председатель ГЭК рассматривает информацию, полученную от председателя ПК. В данном случае ГЭК проводит служебную проверку по указанному выше факту в целях исключения нарушения порядка проведения ГИА, а именно выполнение участником экзамена ЭР несамостоятельно, с помощью посторонних лиц.

Председатель ПК до начала работы ПК получает от руководителя РЦОИ критерии оценивания развернутых ответов на задания, а также дополнительные схемы оценивания ответов при проверке ответов по иностранным языкам и проводит в течение не менее часа оперативное семинар-согласование подходов к оцениванию развернутых ответов участников на каждое из заданий с развернутым ответом, опираясь на полученные критерии. При необходимости проводится повторное оперативное семинар-согласование подходов к оцениванию после проверки каждым экспертом ПК определенного количества первых ЭР для уточнения и конкретизации согласованных подходов к оцениванию.

В целях обеспечения согласованной работы экспертов ПК председатель ПК может назначить из числа экспертов ПК, имеющих статус "ведущий эксперт ПК" или "старший эксперт ПК", консультантов, к которым могут обращаться эксперты ПК при возникновении затруднений при оценивании развернутых ответов участников. Рабочие места консультирующих экспертов должны быть организованы в помещениях для работы ПК таким образом, чтобы консультации не мешали работе других экспертов ПК.

В целях повышения уровня объективности оценивания развернутых ответов участников председатель ПК или назначенный им эксперт ПК может использовать рабочие места, оборудованные выходом в сеть "Интернет", для предоставления экспертам ПК возможности уточнить и (или) проверить изложенные в ЭР участников факты (например, сверка информации с источниками, проверка приведенных участниками ГИА фамилий, названий, фактов и т.п.).

Распределение работ участников между экспертами ПК, расчет баллов по каждому заданию ЭР с развернутым ответом, а также определение необходимости направления ЭР на третью проверку осуществляются автоматизировано с использованием специализированных аппаратно-программных средств.

Для проведения третьей проверки назначается эксперт ПК, которому в текущем году присвоен статус "ведущий эксперт ПК" или "старший эксперт ПК", ранее не проверявший данную ЭР, имеющий опыт первой и второй проверки в текущем году, в том числе председатель ПК.

Для установления правильности оценивания ЭР участника, подавшего апелляцию о несогласии с выставленными баллами (в рамках рассмотрения апелляции о несогласии с выставленными баллами), привлекается эксперт ПК, которому в текущем году присвоен статус "ведущий эксперт ПК" или "старший эксперт ПК", а также имеющий опыт первой, второй и третьей проверки в текущем году, не проверявший ранее ЭР данного участника, в том числе председатель ПК.

Для проведения межрегиональной перекрестной перепроверки в рамках рассмотрения апелляций о несогласии с выставленными баллами привлекается эксперт ПК, которому в текущем году присвоен статус "ведущий эксперт ПК", и не проверявший ранее ЭР данного участника (в случае, когда ЭР проверялась в рамках межрегиональной перекрестной проверки).

Для проведения перепроверки ЭР участников, инициированной Департаментом, привлекаются эксперты ПК, которым в текущем году присвоен статус "ведущий эксперт ПК", "старший эксперт ПК", имеющие опыт первой, второй и третьей проверки в текущем году, и ранее не проверявшие данные ЭР.

4.2. Методика оценивания развернутых ответов.

Проверку развернутых ответов участников эксперты ПК осуществляют, руководствуясь критериями оценивания развернутых ответов и согласованными в ПК подходами к оцениванию развернутых ответов.

Развернутые ответы участников оцениваются двумя экспертами ПК независимо друг от друга. Оба эксперта ПК, проверяющие одну работу, выставляют баллы за каждый развернутый ответ или за каждую позицию оценивания (если ответ на задание оценивается по нескольким критериям) согласно критериям оценивания выполнения заданий с развернутым ответом.

Эксперт ПК, который оценивает развернутые ответы участников (в том числе устные), получает рабочий комплект эксперта ПК, который содержит:

- бланк-копию (в количестве не более 10 в одном рабочем комплекте);

- бланк-протокол проверки развернутых ответов (форма 3-РЦОИ);

- список работ на прослушивание и оценивание, сформированный посредством специализированного ПО;

- бланк-протокол оценивания устных ответов (иностранный язык) (форма 3-РЦОИ-У).

Бланк-протокол является машиночитаемой формой и подлежит обязательной автоматизированной обработке в РЦОИ.

Рабочие комплекты формируются (распечатываются) для каждого эксперта ПК в РЦОИ с учетом графика работы ПК.

Председатель ПК (или его заместитель - для больших ПК, размещенных в нескольких помещениях) получает готовые рабочие комплекты экспертов ПК от руководителя РЦОИ (или уполномоченного им сотрудника РЦОИ).

Эксперты ПК проводят проверку ЭР и выставляют баллы в соответствующие поля бланка-протокола в соответствии с критериями оценивания развернутых ответов. Рекомендуется использовать черновики бланков-протоколов, не содержащие переменной информации: номеров работ, данных об эксперте ПК и т.п., в которые эксперты ПК выставляют баллы до их внесения в бланк-протокол.

В случае возникновения у эксперта ПК затруднения в оценивании ЭР эксперт ПК может получить консультацию у председателя ПК или консультирующего эксперта ПК, назначенного председателем ПК.

Номера наиболее характерных работ, вызвавших затруднения при оценивании, эксперт ПК фиксирует для передачи председателю ПК.

Каждый рабочий комплект эксперта ПК после завершения его проверки председатель ПК (или его заместитель - для больших ПК) передают в РЦОИ для дальнейшей обработки (передача в РЦОИ заполненных бланков-протоколов должна проводиться регулярно, не реже 3-4 раз в день).

В случае установления существенного расхождения между баллами, выставленными двумя экспертами ПК, после проведения в РЦОИ автоматизированной обработки каждого бланка-протокола назначается третья проверка.

В случае направления ЭР на третью проверку, в регистрационной части бланка-копии такой работы, для сведения эксперта ПК, назначенного на третью проверку, указываются баллы, выставленные двумя экспертами ПК, проверявшими эту работу ранее. Эксперт ПК, назначенный на третью проверку, проводит оценивание по тем позициям оценивания, которые указаны в бланке-протоколе. Позиции оценивания, которые эксперт ПК, назначенный на третью проверку, не проверяет, в протоколе заполнены автоматизировано.

На протяжении всего периода работы ПК председатель ПК и (или) его заместитель фиксирует у себя номера ЭР, вызвавших наибольшие разногласия или трудности у экспертов ПК при оценивании (на основании ЭР, Проверенных собственноручно и (или) ЭР, номера которых фиксировали эксперты ПК в процессе оценивания). Информация о номерах таких ЭР передаётся в федеральное государственное бюджетное научное учреждение "Федеральный институт педагогических измерений" (далее - ФИЛИ) после получения соответствующего запроса. Данные ЭР проанализированы и использованы для совершенствования критериев оценивания, проведения обучения экспертов ПК и согласования подходов к оцениванию ЭР.

В период работы ПК руководитель РЦОИ предоставляет председателю ПК статистическую информацию о ходе проверки развернутых ответов (не реже 2-3 раз в день). При этом председателю ПК предоставляется оперативная информация:

- о количестве проверенных ЭР на текущий момент времени;

- о количестве ЭР, ожидающих первой, второй или третьей проверки;

- о количестве и доле ЭР, назначенных на третью проверку;

- другая информация, позволяющая определить качество работы ПК и необходимость проведения дополнительных согласований с экспертами ПК.

Результаты статистических отчетов председатель ПК использует для оптимизации организации работы ПК.

При необходимости председатель ПК дает дополнительные разъяснения экспертам ПК по вопросам согласованности работы ПК.

Председатель ПК направляет в Департамент информацию о случаях нарушения экспертом ПК требований порядка проведения ГИА, а именно недобросовестное выполнение возложенных на него обязанностей, использование статуса эксперта ПК в личных целях, а также игнорирование согласованных подходов к оцениванию ЭР, систематическое допущение ошибок в оценивании ЭР или нарушение процедуры проведения проверки. В указанных случаях председатель ПК имеет право отстранить эксперта ПК от работы в ПК, окончательное решение по вопросу исключения эксперта ПК из состава ПК принимает Департамент после проведенного ГЭК рассмотрения ситуации.

При проведении межрегиональной перекрестной проверки ЭР участников, полученные из другого субъекта РФ, проверяются экспертами ПК в общей очереди работ участников. При этом экспертам ПК не предоставляется информация о том, ЭР из какого субъекта РФ были назначены им на проверку. Экспертам ПК также не предоставляется информация о том, включены ли в рабочий комплект, назначенный эксперту ПК на проверку, ЭР, полученные в рамках межрегиональной перекрестной проверки.

В период работы ПК с момента получения критериев оценивания развернутых ответов из РЦОИ до окончания проверки развернутых ответов участников все помещения работы ПК, включая помещение, в котором проводится семинар-согласование с разбором заданий и критериев оценивания развернутых ответов, должны быть оборудованы функционирующей системой непрерывного видеонаблюдения и видеозаписи.

При выходе каждый эксперт ПК сдает все материалы, в том числе полученные критерии оценивания развернутых ответов, председателю ПК.

При выявлении экспертом ПК случаев, свидетельствующих о нарушении или возможном нарушении участником - автором проверяемой экспертом ПК ЭР (например, выявлен факт выполнения ЭР несамостоятельно, наличие предположительно разных почерков, решение заданий разных вариантов, текст работы совпадает с текстом в других работах или опубликованных источниках, т.п.), а также иных случаев эксперт ПК уведомляет об обнаруженном факте председателя ПК.

Совместно с председателем ПК (при необходимости, с другими экспертами ПК, обнаружившими указанные факты) составляет акт в свободной форме с указанием номера ЭР и описанием обнаруженных фактов. Председатель ПК направляет служебную записку с приложением указанного акта председателю ГЭК для проведения служебного расследования и принятия решения. Эксперт ПК, обнаруживший указанные факты, оценивает работу в полном объеме в соответствии с критериями оценивания развернутых ответов, кроме случаев, указанных в критериях оценивания развернутых ответов и указаниях по оцениванию (памятках экспертов, включенных в критерии).

В случае невозможности экспертом ПК оценить развернутые ответы участника по причине проблем технического характера (нечеткая печать, некачественное сканирование работы, некачественная запись устного ответа и т.п.), эксперт ПК уведомляет об этом председателя ПК. Совместно с председателем ПК составляется акт в свободной форме с указанием номера работы и описанием проблемы. Председатель ПК направляет служебную записку с приложением указанного акта руководителю РЦОИ для устранения причин, не позволяющих оценить ЭР. В случае если проблемы технического характера (например, некачественная запись устного ответа и т.п.) не удалось решить, то председатель ПК совместно с руководителем РЦОИ составляет акт в свободной форме с указанием номера работы и описанием обнаруженных фактов, который незамедлительно направляется председателю ГЭК для проведения служебного расследования и принятия решения.

По завершении работы каждый эксперт ПК сдает все материалы, в том числе критерии оценивания развернутых ответов, председателю ПК.

Окончательные баллы за развернутые ответы ЭР определяются, исходя из следующих положений:

- если баллы, выставленные двумя экспертами ПК, совпали, то эти баллы являются окончательными;

- если установлено несущественное расхождение в баллах, выставленных двумя экспертами ПК, то окончательные баллы определяются как среднее арифметическое баллов, выставленных двумя экспертами ПК в соответствии с правилами математического округления;

- если установлено существенное расхождение в баллах, выставленных двумя экспертами ПК, то назначается третья проверка. Баллы, выставленные экспертом ПК, назначенным на третью проверку, являются окончательными по тем позициям оценивания, которые направлялись на третью проверку.

В целях обеспечения соблюдения сроков обработки ЭМ необходимо в течение 1 календарного дня после завершения экзамена завершить процедуру проверки предположительно незаполненных участниками БО-2-1, БО-2-2, ДБО-2.

График работы экспертов ПК должен предусматривать завершение проведения проверки ЭР первым и вторым экспертом (в том числе с учетом реализации межрегиональной перекрестной проверки) не позднее чем за сутки до сроков завершения обработки ЭМ на региональном уровне.

Проверка развернутых ответов участников считается завершенной, когда все ЭР проверены экспертами ПК необходимое количество раз (определяется средствами РИС), а результаты оценивания из бланков-протоколов обработаны средствами РИС и проанализированы на предмет необходимости направления на третью проверку.

4.3. Особенности проведения проверки ответов участников ГВЭ.

Каждая работа ГВЭ проверяется двумя экспертами ПК. При проверке ответов участников ГВЭ (устная форма) экспертам ПК предоставляются аудиозаписи в соответствии с назначением ЭР на проверку.

Председатель ПК до начала работы ПК получает от руководителя РЦОИ ключи правильных ответов (для заданий, предполагающих краткие ответы) и критерии оценивания развернутых ответов на задания ГВЭ и проводит семинар-согласование подходов к оцениванию развернутых ответов участников ГВЭ на каждое из заданий с развернутым ответом, руководствуясь полученными критериями оценивания развернутых ответов.

Эксперт ПК, проверяющий ЭР ГВЭ, выставляет баллы за каждый ответ или за каждую позицию оценивания (если ответ на задание оценивается по нескольким критериям) согласно ключам правильных ответов и критериям оценивания развернутых ответов. Результаты оценивания выполнения заданий с кратким ответом, развернутым ответом, а также полученный участником ГВЭ первичный балл вносятся экспертами ПК в форму "Развернутая форма проверки выполнения заданий ГВЭ в 2022 году" (далее - Форма проверки работ ГВЭ).

Формы проверки работ ГВЭ не являются машиночитаемыми, не подлежат автоматизированной обработке и могут не применяться.

Эксперты ПК на основе данных о результатах оценивания ответов участников ГВЭ осуществляют перевод первичных баллов участников ГВЭ в отметку по пятибалльной системе оценивания и вносят отметку в первое поле протокола проверки, при этом отметки "О" и "1" не предусмотрены, и не вносятся в протоколы.

После заполнения бланки-протоколы обрабатываются в установленном порядке.

Результаты проверки работ участников ГВЭ автоматизировано сохраняются в РИС.

4.4. Организация работы ПК при проведении перепроверки отдельных ЭР.

До 1 марта года, следующего за годом проведения экзамена, по поручению Рособрнадзора федеральные ПК проводят перепроверку отдельных ЭР на территории РФ или за ее пределами.

До 1 марта года, следующего за годом проведения экзамена, по решению Департамента или ГЭК ПК проводят перепроверку отдельных ЭР.

РЦОИ вносит в РИС сведения об участниках, чьи ЭР отправлены по решению Департамента (ГЭК) на перепроверку, и формирует (распечатывает) комплекты документов для перепроверки.

Комплект документов для перепроверки содержит:

- копии БО-2, включая ДБО-2;

- копии бланков ответов на задания, включая дополнительные бланки ответов на задания (ГВЭ);

- копии бланков-протоколов;

- бланк протокола перепроверки, содержащего заключение экспертов ПК о правильности оценивания развернутых ответов на задания данной ЭР;

- вариант КИМ, выполнявшийся участником;

- критерии оценивания выполнения заданий с развернутым ответом варианта КИМ, выполнявшегося участником.

Председатель ПК получает подготовленные комплекты от руководителя РЦОИ (или уполномоченного им сотрудника РЦОИ).

Для проведения перепроверки ЭР привлекаются эксперты ПК (в том числе председатель ПК), которым в текущем году присвоен статус ведущего эксперта, старшего эксперта ПК, имеющие опыт первой, второй, третьей проверки в текущем году и ранее не проверявшие данные ЭР.

Эксперты ПК осуществляют перепроверку полученных ЭР и заполняют бланк протокола перепроверки.

Оформленные протоколы перепроверки председатель ПК передает в ГЭК для утверждения и руководителю РЦОИ (или уполномоченному им сотруднику РЦОИ) для внесения информации по результатам перепроверки в РИС.

Обеспечение внесения информации по результатам перепроверки в РИС с дальнейшей передачей в ФИС с целью пересчета баллов осуществляет РЦОИ совместно с Федеральным государственным бюджетным учреждением "Федеральный центр тестирования" в рамках установленной компетенции.

В случае получения ГЭК информации Рособрнадзора о результатах перепроверки ЭР экспертами федеральной ПК, ГЭК организует рассмотрение и анализ результатов перепроверки ЭР экспертами федеральной ПК председателем ПК по соответствующему учебному предмету. Председатель ПК организует рассмотрение и анализ результатов перепроверки ЭР экспертами федеральной ПК с оформлением соответствующего заключения. Решение ГЭК по итогам рассмотрения результатов перепроверки ЭР экспертами федеральной ПК в сопровождении заключения ПК, на основании которого было принято решение ГЭК, направляется в Рособрнадзор.

5. Анализ работы ПК

По окончании ГИА и проверки ЭР проводится анализ работы ПК.

Анализ работы ПК проводится в соответствии с порядком проведения анализа работы ПК (минимальный перечень направлений для анализа работы ПК приведен в пункте 9 настоящего Положения).

Анализ работы ПК проводится на основании информации, предоставленной РЦОИ, а также Рособрнадзором и уполномоченными Рособрнадзором организациями.

В целях обеспечения проведения анализа работы ПК группе экспертов, анализирующих работу ПК, предоставляется доступ к определённым КИМ.

6. Правила для председателя и экспертов ПК

6.1. Правила для председателя ПК при организации подготовительных мероприятий.

Подготовительные мероприятия по определению состава и квалификации экспертов ПК проводятся в соответствии с установленным порядком.

Председатель ПК:

- в период подготовки и проведения ГИА имеет право участвовать в ежегодных мероприятиях федерального уровня по согласованию подходов к оцениванию выполнения заданий с развернутым ответом, организуемых на федеральном уровне;

- в период подготовки и проведения ГИА обеспечивает организационное и методическое сопровождение ежегодного обучения (обучающих семинаров по согласованию подходов к оцениванию) экспертов ПК с учетом результатов анализа согласованности работы экспертов ПК и статистики удовлетворенных апелляций и перепроверок федерального и регионального уровней в предыдущие годы;

- в период подготовки к проведению ГИА заблаговременно направляет в Департамент информацию о перечне дополнительных средств и материалов (например, ПО рабочих мест с выходом в сеть "Интернет", а также средства обучения и воспитания, используемые участниками во время выполнениями ими ЭР), допустимых к использованию экспертами ПК в помещениях работы ПК во время проверки ЭР;

- в период подготовки к проведению ГИА заблаговременно согласует с руководителем РЦОИ перечень и формы отчетных материалов о ходе работы ПК в период проведения проверки ЭР, а также перечень и формы представления статистической информации о работе ПК по итогам проведения проверки;

- не позднее чем за один месяц до начала экзаменов передает руководителю РЦОИ списочный состав экспертов ПК (с указанием статуса каждого эксперта ПК, присвоенного по результатам квалификационного испытания в текущем году) для внесения в РИС;

- не позднее чем за 14 дней до начала обработки ЭМ формирует и согласует с руководителем РЦОИ график работы экспертов ПК для планирования назначения экспертов ПК на проверку ЭР;

- согласует с руководителем РЦОИ график работы экспертов ПК, осуществляющих отбор изображений незаполненных участниками БО-2 таким образом, чтобы первая и вторая проверки были завершены не позднее 1 календарного дня до сроков завершения обработки экзамена на региональном уровне;

- не позднее чем за 14 дней до начала обработки ЭМ формирует и согласует с руководителем РЦОИ критерии отбора изображений ЭР, содержащие письменные развернутые ответы участников по каждому варианту КИМ, для использования при проведении оперативного семинара-согласования подходов к оцениванию развернутых ответов участников. Рекомендуется формировать комплекты изображений работ по каждому используемому варианту КИМ. В каждый комплект изображений (по одному варианту) должны войти по 3-5 наиболее объемных по количеству использованных бланков работ участников экзамена.

6.2. Правила для председателя ПК на этапе проверки развёрнутых ответов участников.

Председатель ПК должен:

- получить у руководителя РЦОИ полный комплект критериев оценивания развернутых ответов, ознакомиться с полученными критериями, подготовиться к семинару-согласованию подходов к оцениванию выполнения каждого задания;

- обеспечить присутствие в помещениях ПК только допущенных лиц: эксперты, члены ГЭК (по решению ГЭК), должностные лица Рособрнадзором, иные лица, определенные Рособрнадзором, должностные лица органа, осуществляющего переданные полномочия в сфере образования, (по решению соответствующих органов), аккредитованные общественные наблюдатели;

- провести оперативный семинар-согласование подходов к оцениванию развернутых ответов на каждое из заданий с развернутыми ответами (продолжительностью не менее часа), опираясь на полученные критерии оценивания заданий с развернутым ответом, а также на согласованные подходы к оцениванию развернутых ответов, выработанные на федеральном уровне (рекомендуется провести повторное оперативное согласование подходов к оцениванию после проверки каждым экспертом нескольких первых работ для уточнения и конкретизации согласованных подходов к оцениванию);

- получить необходимое количество комплектов критериев для экспертов, а также дополнительные схемы оценивания устных ответов при проверке устных ответов по иностранным языкам;

- в целях обеспечения согласованной работы экспертов ПК при возникновении затруднений при оценивании развернутых ответов участников экзаменов консультировать экспертов ПК, при необходимости назначить консультирующих экспертов из числа экспертов ПК, имеющих статус ведущего эксперта ПК или старшего эксперта ПК, к которым могут обращаться эксперты ПК при возникновении затруднений при оценивании развернутых ответов участников экзаменов;

- распределить экспертов ПК по рабочим местам;

- выдать каждому эксперту ПК комплект критериев оценивания выполнения заданий с развернутым ответом по каждому варианту и рабочие комплекты для проверки;

- осуществлять консультирование экспертов по вопросам оценивания ЭР;

- обеспечить комфортную рабочую атмосферу в ПК;

- решать вопросы, возникающие у экспертов, в рамках своей компетенции;

- информировать председателя ГЭК при выявлении случаев, свидетельствующих о возможном нарушении порядка проведения ГИА;

- совместно с руководителем РЦОИ обеспечить проведение проверки развернутых ответов участников таким образом, чтобы 1 и 2 проверки были завершены не позднее 1 календарного дня до сроков завершения обработки экзамена на региональном уровне;

- информировать руководителя РЦОИ о невозможности оценить экспертом ПК развернутые ответы участников по причине проблем технического характера (нечеткая печать, некачественное сканирование работы, некачественная запись устного ответа и т.п.), а в случае если проблемы технического характера (например, некачественная запись устного ответа и т.п.) не удалось решить совместно с руководителем РЦОИ - информировать об указанном случае председателя ГЭК;

- контролировать качество заполнения экспертами бланков-протоколов проверки и осуществлять оперативный обмен бланками-протоколами проверки и бланками-копиями с РЦОИ;

- организовать взаимодействие с руководителем РЦОИ (уполномоченным им сотрудником РЦОИ) в случае, если рабочий комплект по ряду объективных причин не был проверен экспертом полностью, и передать в РЦОИ данный комплект с протоколом проверки;

- передать руководителю РЦОИ (уполномоченному им сотруднику РЦОИ) бланки всего рабочего комплекта, не проверенного экспертом полностью, для переназначения другим экспертам;

- контролировать качество работы экспертов ПК, направлять председателю ГЭК и в Департамент представление об отстранении от работы в ПК экспертов, нарушающих требования, игнорирующих в процессе проверки согласованные подходы к оцениванию работ, систематически допускающих ошибки в оценивании работ или нарушающих процедуру проведения проверки.

6.3. Правила для председателя ПК по завершении работы ПК.

Председатель ПК должен:

- сдать руководителю РЦОИ все экземпляры критериев оценивания ответов на задания с развернутым ответом, выданные для проведения проверки, а также все предоставленные РЦОИ для проведения оперативного семинара-согласования изображения ЭР, содержащие письменные развернутые ответы участников по каждому варианту КИМ;

- по завершении проверки получить от руководителя РЦОИ (уполномоченного им сотрудника РЦОИ) пакет документов о результатах работы ПК: количество ЭР, проверенных каждым экспертом ПК, количество ЭР, отправленных на третью проверку, информацию об экспертах ПК, показавших наибольшее количество расхождений в результатах оценивания, другую информацию, связанную с деятельностью ПК, при необходимости;

- при поступлении в ГЭК запроса Рособрнадзора с информацией о результатах перепроверки ЭР экспертами федеральной ПК организовать рассмотрение и анализ результатов перепроверки ЭР экспертами федеральной ПК с оформлением соответствующего заключения для предоставления его в ГЭК.

6.4. Правила для председателя ПК при рассмотрении апелляций о несогласии с выставленными баллами.

Председатель ПК должен:

а) до заседания конфликтной комиссии (далее - КК) получить от председателя КК комплект апелляционных документов о несогласии с выставленными баллами, который содержит:

- протокол рассмотрения апелляции о несогласии с выставленными баллами (форма 2-АП) с приложениями для внесения информации о ходе и результатах рассмотрения апелляции (форма 2-АП-1, 2-АП-2, 2-АП-3);

- распечатанные изображения БР, БО-1, БО-2, ДБО-2, протоколов проверки развернутых ответов, протоколов оценивания устных ответов;

- распечатанные результаты распознавания БР, БО-1 БО-2, ДБО-2, протоколов проверки развернутых ответов, протоколов оценивания устных ответов;

- электронные носители, содержащие файлы с цифровой аудиозаписью устных ответов участников экзаменов по иностранным языкам (при наличии);

- заявление по форме 1-АП;

б) дополнительно к апелляционному комплекту получить:

- критерии оценивания развернутых ответов;

- перечень допустимых символов для записи ответов на задания с кратким ответом;

- КИМ, выполнявшийся участником;

- уведомление по итогам рассмотрения апелляции о несогласии с выставленными баллами по результатам ГИА (форма У-33).

В случае если работа апеллянта была направлена на межрегиональную перекрестную проверку, в составе апелляционного комплекта отсутствуют протоколы проверки развернутых ответов и протоколы оценивания устных ответов, а также результаты их распознавания.

При рассмотрении апелляции о несогласии с выставленными баллами ГВЭ председатель ПК до заседания КК получает у председателя КК комплект апелляционных документов, включающим в себя:

- изображения ЭР участника ГВЭ;

- протоколы устных ответов обучающегося и электронные носители, содержащие файлы с цифровой аудиозаписью устных ответов апеллянта, сдававшего ГВЭ в устной форме;

- копии протоколов проверки ЭР ПК;

- заявление по форме 1-АП;

- критерии оценивания;

- тексты, темы, задания, билеты, выполнявшиеся участником ГВЭ, подавшим апелляцию.

Председатель ПК должен:

- организовать работу эксперта ПК, которому в текущем году присвоен статус "ведущий эксперт ПК" или "старший эксперт ПК", имеющего опыт первой, второй и третьей проверки в текущем году, но не являющегося экспертом ПК, проверявшим ЭР апеллянта ранее, по установлению правильности оценивания выполнения заданий с развернутым ответом и (или) о необходимости изменения баллов за выполнение задания с развернутым ответом;

- назначить на рассмотрение апелляции о несогласии с выставленными баллами экспертов ПК, которым в текущем году присвоен статус "ведущий эксперт ПК" или "старший эксперт ПК", имеющих опыт первой, второй и третьей проверки в текущем году, но не являющихся экспертами ПК, проверявшими ЭР данных апеллянтов ранее, и передать им вышеуказанные материалы;

- узнать у секретаря КК дату, место и время заседания КК, а также информацию о присутствии на заседании КК апеллянтов и (или) их родителей (законных представителей);

- направить экспертов ПК, назначенных на рассмотрение апелляций о несогласии с выставленными баллами и принимавших участие в работе по установлению правильности оценивания развернутых ответов и (или) о необходимости изменения баллов за выполнение заданий с развернутым ответом апеллянтов, на заседание КК в указанное время;

- передать председателю КК комплект апелляционных документов и заключение экспертов ПК после проведения экспертами ПК соответствующей работы по установлению правильности оценивания ЭР в тот же день;

- оперативно передавать на федеральный уровень информацию об обнаружении некорректных (по мнению председателя ПК) заданиях с обязательным указанием номера варианта КИМ (или номера КИМ), номера задания и содержания замечания.

Решение о корректности задания и об изменении баллов участнику, выполнявшему его, в случае признания задания некорректным, принимается Рособрнадзором.

6.5. Правила для экспертов ПК.

Экспертам ПК запрещается:

- иметь при себе средства связи, фото-, аудио- и видеоаппаратуру;

- копировать и выносить из помещений, в которых работает ПК, ЭР, критерии оценивания, протоколы проверки ЭР;

- разглашать информацию, содержащуюся в указанных материалах.

По завершении проверки использованные экспертами ПК материалы (за исключением бланков-протоколов) уничтожаются лицами, определенными руководителем РЦОИ.

Также запрещается:

- без уважительной причины покидать аудиторию;

- переговариваться с другими экспертами ПК, если речь не идет о консультировании с председателем ПК или с экспертом ПК, назначенным по решению председателя ПК, консультантом.

Эксперты ПК должны:

а) на подготовительном этапе:

- пройти обучение с использованием учебно-методических материалов ФИЛИ и подтвердить уровень своей квалификации;

- заблаговременно пройти инструктаж по содержанию и технологии оценивания развернутых ответов в сроки, определяемые председателем ПК;

- непосредственно перед проверкой работ участвовать в проводимом председателем ПК оперативном семинаре-согласовании подходов к оцениванию развернутых ответов на каждое из заданий с развернутым ответом.

Эксперты, не подтвердившие квалификацию и (или) не прошедшие инструктаж, и (или) не участвующие в оперативном семинаре-согласовании, к проверке развернутых ответов не допускаются.

б) во время проверки развернутых ответов:

- по указанию председателя ПК занять рабочие места в предоставленных аудиториях;

- получить рабочие комплекты для проверки и критерии оценивания;

- соблюдать дисциплину во время работы;

- обратиться к председателю ПК или лицу, назначенному председателем ПК консультантом, если возникли вопросы или проблемы при оценивании ЭР;

- оформлять бланки-протоколы в соответствии с установленными правилами;

- заполнять поля бланка-протокола следует печатными заглавными буквами черной гелевой ручкой строго внутри полей бланка-протокола;

- не использовать для заполнения бланка-протокола карандаш (даже для черновых записей), ручек со светлыми чернилами и корректирующей жидкости для исправления написанного (наличие грифеля или корректирующей жидкости на сканируемом бланке может привести к серьезной поломке сканера);

- исключить внесение исправлений в бланки-протоколы, при необходимости внесения изменений председатель ПК составляет акт о факте порчи протокола и направляет руководителю РЦОИ служебную записку о необходимости уничтожения испорченного протокола и распечатки нового (допускается сделать одно незначительное исправление в бланке-протоколе, которое заверяется экспертом, проверяющим данный рабочий комплект);

- оценивать работы по критериям оценивания в полном объеме в случае выявления ЭР, в которых: БО-2-1 и БО-2-2 содержат знаки "Z"; развернутые ответы, оформленные на БО-2-1 и (или) БО-2-2 и (или) на ДБО-2 расположены на фоне проставленного знака "Z"; пространство, разделяющее развернутые ответы одной ЭР, занимает страницу или более (например, развернутые ответы оформлены на БО-2-1 и на ДБО-2, при этом БО-2-2 остался незаполненным, а также другие подобные случаи);

- при выявлении ЭР, в которых развернутые ответы, оформленные на БО-2-1 и (или) БО-2-2 и (или) на ДБО-2 расположены на фоне проставленного знака "Z"; пространство, разделяющее развернутые ответы одной ЭР, занимает страницу или более (например, развернутые ответы оформлены на БО-2-1 и на ДБО-2, при этом БО-2-2 остался незаполненным, а также другие подобные случаи), а также других случаев, свидетельствующих о возможном нарушении порядка проведения ГИА, эксперту ПК необходимо незамедлительно проинформировать об установленных фактах председателя ПК;

- информировать председателя ПК о невозможности оценить развернутые ответы участников по причине проблем технического характера (нечеткая печать, некачественное сканирование работы, некачественная запись устного ответа и т.п.);

- поставить знак "X" в полях бланка-протокола, соответствующих позициям оценивания выполнения заданий, ответ на которые участник не внес в БО-2 (ДБО-2);

- проставить в соответствующее поле (поля) бланка-протокола соответствующий критериям оценивания балл (баллы) от нуля до максимально возможного, указанного в критериях оценивания выполнения заданий с развернутым ответом, если участник приступал к выполнению задания;

- проставить в соответствующее поле бланка-протокола номер выбранного участником альтернативного задания, если участник выполнял альтернативное задание;

- поставить дату, подпись в соответствующих полях бланка-протокола и передать рабочий комплект председателю ПК для передачи на обработку после завершения заполнения бланка-протокола.

При проверке предположительно незаполненных участниками БО-2, ДБО-2:

- получить инструктаж руководителя РЦОИ (назначенного им сотрудника РЦОИ) и председателя ПК о выполнении проверки предположительно незаполненных БО-2, ДБО-2;

- просматривать с экрана изображения предположительно незаполненных БО-2, ДБО-2;

- при наличии на изображении записей, знаков, рисунков или пометок, которые могут быть расценены как ответ на задание с развернутым ответом или подтверждение того, что участник приступал к выполнению задания или имел возможность его выполнить, удостоверить (отметить в ПО), что изображение заполнено;

- при отсутствии записей, относящихся к ответу на задания, удостоверить (отметить в ПО), что изображение не заполнено.

Изображения, определенные хотя бы одним из проверяющих экспертов ПК как заполненные, направляются на проверку в ПК.

В случае если изображения БО-2, ДБО-N2 определены двумя проверяющими экспертами ПК как незаполненные, то задания ЭР, предусматривающие развернутый ответ, засчитываются заданиями, к выполнению которых участник не приступал. В этом случае выполнение каждого задания ЭР, предусматривающий развернутый ответ, оценивается в ноль баллов автоматизировано (посредством РИС).

При рассмотрении апелляций о несогласии с выставленными баллами:

- получить от председателя ПК комплект апелляционных документов участника, подавшего апелляцию, и критерии оценивания данной работы;

- до заседания КК рассмотреть ЭР апеллянта, а также проанализировать предыдущее оценивание данной ЭР;

- дать письменное заключение о правильности оценивания ЭР апеллянта или о необходимости изменения баллов за выполнение задания с развернутым ответом с обязательной содержательной аргументацией и указанием на конкретный критерий оценивания, которому соответствует выставляемый им балл;

- узнать у председателя ПК дату, место и время заседания КК и прибыть в указанное время в КК;

- присутствовать во время рассмотрения апелляции;

- в случае возникновения затруднений в формулировании однозначного ответа о правильности оценивания ЭР обратиться за консультацией к председателю ПК (или назначенному им эксперту ПК);

- в случае возникновения у апеллянта или у КК вопросов по оцениванию развернутых ответов дать соответствующие разъяснения. Время, рекомендуемое на разъяснения по вопросам оценивания развернутых ответов одного апеллянта - не более 20 минут (при необходимости по решению КК установленное время может быть увеличено);

- в случае обнаружения ошибок или некорректных заданий в КИМ необходимо сообщить об этом председателю ПК с обязательным указанием номера варианта КИМ, номера задания и содержания замечания.

Решение о корректности задания и об изменении баллов участникам в случае признания задания некорректным принимается Рособрнадзором.

7. Показатели согласованности оценивания для присвоения статуса экспертам ПК

Ниже приведены показатели, вычисляемые по результатам квалификационных испытаний.

Показатель: доля заданий/критериев оценивания, по которым оценки эксперта не совпали с оценками, выработанными при согласовании подходов к оцениванию развернутых ответов.

Значения показателя для присвоения статуса экспертам.

Предмет	Максимальное значение показателя
	Ведущий эксперт	Старший эксперт	Основной эксперт
Русский язык	10%	15%	25%
Иностр. языки
Обществознание
Литература
Биология	10%	15%	20%
История
Физика	5%	7%	10%
Химия
География
Информатика
Математика	1%	5%	7%

Показатель: доля позиций оценивания, расхождение в которых составило 2 и более балла по заданию/критерию оценивания.

Значения показателя для присвоения статуса экспертам.

Статус эксперта	Максимальное значение показателя
Ведущий эксперт	0
Старший эксперт	0

8. Примерный план-график проведения мероприятий по подготовке экспертов и формированию ПК, подведения итогов работы ПК

N п/п	Мероприятие	Срок
1.	Подготовка экспертов ПК к проверке ЭР ГИА и формирование ПК	до 20 апреля
2.	Предоставление в РОН списков кандидатур председателей ПК, согласование РОН кандидатур председателей ПК	по графику Рособрнадзора
3.	Проведение квалификационных испытаний, присвоение статуса экспертам ПК	по отд. графику
4.	Очные семинары для председателей (их заместителей)	по графику ФИПИ
5.	Вебинары ФИПИ для экспертов ПК по согласованию подходов к оцениванию развёрнутых ответов участников	май-июнь
6.	Проведение оперативного согласования оценивания развёрнутых ответов в ПК	после получения критериев
7.	Отбор ЭР, вызвавших затруднения в оценивании, для включения в учебно-методические материалы для экспертов ПК	в процессе проверки ЭР
8.	Направление в ФИПИ информации о номерах работ, вызвавших затруднения при оценивании	по запросу ФИПИ
9.	Проведение анализа работы ПК	июль-август

9. Минимальный перечень направлений для анализа работы ПК

Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников, ее максимальной объективности, выработке единых требований и подходов к оцениванию ЭР, минимизирующих уровень субъективности проверяющих экспертов ПК.

При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:

1. Условия проведения проверки:

- нахождение ПК в/вне здания РЦОИ, количество зданий, помещений, где размещается ПК;

- количество аудиторий при работе ПК;

- проведение оперативного семинара-согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

- работа экспертов-консультантов ПК, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов ПК, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.), выполнение экспертами-консультантами ПК других работ в рамках задач, возложенных на ПК;

- наличие специально оборудованного в помещениях работы ПК рабочего места с выходом в сеть "Интернет" для обеспечения возможности уточнения экспертами ПК изложенных в ЭР участников фактов; востребованность этого рабочего места;

- прочее (в случае выявления условий, существенно влияющих на качество работы ПК).

2. Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта ПК, принцип присвоения статуса экспертов ПК и планирование изменения этих принципов в перспективе.

3. Квалификация экспертов ПК (соответствие требованиям, количество экспертов, квалификация которых не соответствует требованиям, причины включения в ПК таких экспертов).

4. Общее количество проверок, проведенных ПК (отдельно первой, второй, третьей проверок, проверок апелляционных работ, перепроверок по решению Департамента).

5. Общее количество экспертов ПК, задействованных при проверке ЭР в разные периоды проведения ГИА (досрочный, основной и дополнительный).

6. Общее количество экспертов ПК, задействованных при проверке ЭР. Принцип отбора экспертов ПК, привлекаемых к рассмотрению апелляций.

7. Статистика рассмотрения апелляций о несогласии с выставленными баллами (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции баллами, повышенными на апелляции баллами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции).

8. Общее количество экспертов ПК, осуществлявших третью проверку.

9. Доля ЭР, направленных на третью проверку после проверки в ПК, т.е. без учета пустых ЭР (средний показатель по всей комиссии).

10. Максимальное и минимальное значение индивидуальных показателей экспертов ПК "доля ЭР, направленных на третью проверку, от общего количества проверенных экспертом ПК работ".

11. Максимальное и минимальное количество ЭР, проверенных каждым экспертом ПК.

12. Перечень экспертов ПК, регулярно (более чем 5% проверяемых ЭР) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами ПК:

12.1. Случаи существенной разницы между суммой баллов первого и второго экспертов ПК; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

Пример 1.

N позиция оценивания	1	2	3	4	' 5	б	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	1	1	1	0	0	0	1	1	6
Эксперт 2	2	3	1	1	3	1	2	1	2	1	0	0	17

В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6-11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.

12.2. Случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

Пример 2.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	2	0	1	1	1	1	1	1	2	1	0	0	11
Эксперт 3	0	1	0	0	3	2	2	0	0	0	1	2	11

В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что говорит о поддержке этими экспертами единых подходов к оцениванию ЭР.

12.3. Случаи существенной разницы в баллах, выставленных за каждую позицию оценивания при рассмотрении апелляций о несогласии с выставленными баллами; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

Пример 3.

N позиции оценивания	1	2	3	4	5	6	7	8	9	10	11	12	Сумма баллов
Эксперт 1	0	1	0	0	3	3	2	0	0	0	1	1	11
Эксперт 2	0	1	1	0	3	3	2	0	0	0	1	1	12
ИТОГ	0	1	1	0	3	3	2	0	0	0	1	1	12
Эксперт на апелляции	2	3	1	0	3	2	2	1	1	1	1	2	19

В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.

12.4. Другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

13. Результаты выборочной экспертизы председателем ПК результатов оценивания развернутых ответов экспертами ПК, показавших рассогласованную работу при проведении оценивания или присутствующих в списках экспертов, чья работа требует дополнительного анализа (списки в справке ФИЛИ с результатами анализа работы ПК).

14. Плановое количество экспертов ПК в следующем году, плановое количество экспертов ПК, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта ПК), предполагаемые показатели согласованности работы экспертов для присвоения статуса экспертам ПК при проведении квалификационных испытаний.

15. Планируемые изменения в процессах подготовки экспертов ПК, формировании ПК, организации процедуры оценивания работ относительно предыдущего года.

16. Основные выводы.