Купить систему ГАРАНТ Получить демо-доступ Узнать стоимость Информационный банк Подобрать комплект Семинары

Приложение 3. Перечень направлений для анализа работы ПК

Приложение 3

 

Перечень направлений для анализа работы ПК

 

Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников ГИА, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих субъективность проверяющих экспертов.

При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:

1. Условия проведения проверки:

нахождение ПК в/вне здания РЦОИ, количество зданий, помещений, где размещается ПК;

количество аудиторий при работе ПК;

проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);

работа экспертов-консультантов, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.);

наличие специально оборудованного в помещениях ПК рабочего места с выходом в информационно-телекоммуникационную сеть "Интернет" для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников ГИА фактов; востребованность этого рабочего места;

прочее (в случае выявления условий, существенно влияющих на качество работы ПК).

2. Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта.

3. Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).

4. Общее количество проверок, проведенных ПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению ОИВ).

5. Общее количество экспертов ПК, задействованных при проверке работ на разных этапах проведения ГИА (досрочный, основной и дополнительный).

6. Общее количество экспертов ПК, задействованных при проверке апелляционных работ.

7. Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.

8. Общее количество экспертов, осуществлявших третью проверку.

9. Доля работ, направленных на третью проверку.

10. Перечень экспертов, регулярно (более, чем 5% проверяемых работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами:

 

случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

 

Пример 1.**

 

N позиции оценивания

1

2

3

4

5

6

7

8

9

10

11

12

Сумма баллов

Эксперт 1

0

1

0

0

1

1

1

0

0

0

1

1

6

Эксперт 2

2

3

1

1

3

1

2

1

2

1

0

0

17

 

В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.

 

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

 

Пример 2.

 

N позиции оценивания

1

2

3

4

5

6

7

8

9

10

11

12

Сумма баллов

Эксперт 1

0

1

0

0

3

3

2

0

0

0

1

1

11

Эксперт 2

2

0

1

1

1

1

1

1

2

1

0

0

11

Эксперт 3

0

1

0

0

3

2

2

0

0

0

1

2

11

 

В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.

 

случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);

 

Пример 3.

 

N позиции оценивания

1

2

3

4

5

6

7

8

9

10

11

12

Сумма баллов

Эксперт 1

0

1

0

0

3

3

2

0

0

0

1

1

11

Эксперт 2

0

1

1

0

3

3

2

0

0

0

1

1

12

ИТОГ

0

1

1

0

3

3

2

0

0

0

1

1

12

Эксперт на апелляции

2

3

1

0

3

2

2

1

1

1

1

2

19

 

В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.

 

другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).

11. Плановое количество экспертов ПК в 2016 году, плановое количество экспертов, имеющих право осуществлять третью проверку, перепроверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта).

12. Основные выводы.

Откройте актуальную версию документа прямо сейчас или получите полный доступ к системе ГАРАНТ на 3 дня бесплатно!

Получить доступ к системе ГАРАНТ

Если вы являетесь пользователем интернет-версии системы ГАРАНТ, вы можете открыть этот документ прямо сейчас или запросить по Горячей линии в системе.