Приложение. Методология и критерии оценки объективности результатов оценочных процедур

Приложение к приказу
министерства образования и
науки Амурской области
от 17.01.2020 N 36

Методология и критерии
оценки объективности результатов оценочных процедур

I. Общие положения

Повышение эффективности системы оценки качества образования путем формирования среди всех участников образовательных отношений устойчивых ориентиров на методы и инструменты объективной оценки образовательных, результатов обучающихся возможно только при согласованных действиях на всех уровнях образования.

Объективность оценки образовательных результатов может быть достигнута только в результате согласованных действий на всех уровнях управления образованием: федеральном, региональном, муниципальном, а также на уровне образовательных организаций.

В целях формирования и совершенствования региональной системы оценки качества образования Амурской области через оценку объективности качества подготовки обучающихся необходима организация комплексных мероприятий по следующим направлениям:

1. Обеспечение объективности образовательных результатов в рамках конкретной оценочной процедуры в образовательных организациях;

2. Выявление образовательных организаций с необъективными результатами и профилактическая работа с ними;

3. Формирование у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов.

II. Обеспечение объективности образовательных результатов в рамках конкретной оценочной процедуры в образовательных организациях

Для обеспечения возможности получения в рамках конкретной оценочной процедуры объективных результатов необходимо выполнение двух условий:

1. Наличие описания оценочной процедуры, закрепляющего соответствие этой оценочной процедуры следующим принципам:

- использование научно обоснованной концепции и качественных контрольных измерительных материалов;

- применение единых организационно-технологических решений, мер защиты информации;

- привлечение квалифицированных специалистов на всех этапах;

- устранение конфликта интересов в отношении всех специалистов, привлеченных к проведению оценочной процедуры.

2. Организация на региональном и/или муниципальном уровнях контроля соблюдения всех положений и регламентов, приведенных в описании оценочной процедуры. Контроль может осуществляться через привлечение независимых, общественных наблюдателей, организацию видеонаблюдения, проведение выездных контрольных мероприятий по соблюдению порядка проведения оценочной процедуры.

Отсутствие конфликта интересов должно быть обеспечено соблюдением следующих требований:

- в качестве наблюдателей не могут выступать родители учащихся класса, который принимает участие в оценочной процедуре;

- учитель, ведущий данный предмет и работающий в данном классе, не должен выступать организатором работы и участвовать в проверке работ;

- проверка работ должна проводиться по стандартизированным критериям с предварительным коллегиальным обсуждением подходов к оцениванию.

Указанные условия соблюдены при проведении единого государственного экзамена, национальных исследований качества образования (НИКО), международных сравнительных исследований.

При организации оценочной процедуры регионального и/или муниципального уровней необходима разработка регламента её проведения.

III. Выявление образовательных организаций с необъективными результатами и профилактическая работа с ними

В целях выявления образовательных организаций с необъективными результатами оценочных процедур необходимо проведение комплексного анализа, предполагающего получение следующих типов аналитических выводов:

1) Анализ качества данных:

- анализ качества организации и проведения оценочной процедуры (наличие инструкций для всех участников, наличие требований к уровню квалификации отдельных специалистов, аттестация специалистов, выполняющих ключевые функции при проведении оценочной процедуры, наличие системы контроля за качеством процедуры и т.п.);

- анализ объективности результатов проведения оценочной процедуры по статистическим характеристикам массива результатов (соответствие различных групп данных друг другу, отсутствие "немотивированных выбросов"),

2) Установление соответствия:

- соответствие уровня подготовки обучающегося заданным критериям (достижение требований ФГОС, выполнение норматива на "школьную" отметку, преодоление минимального порога и т.п.);

- соответствие группы обучающихся заданным критериям (например, освоение отдельной темы или группы умений, достижение требований ФГОС более чем половиной обучающихся в одной параллели в образовательной организации).

3) Сравнительный анализ результатов:

- сравнение результатов одной и той же оценочной процедуры по периодам;

- выявление групп обучающихся с различным уровнем подготовки и описание характеристик таких групп с целью разработки мер по повышению качества преподавания отдельных предметов;

- сравнение результатов ЕГЭ, ОГЭ, НИКО, ВПР;

- выявление внешних факторов, влияющих на уровень результатов различных групп участников (например, из разных муниципальных образований области) с целью разработки мер по повышению эффективности системы образования и т.п.;

- сравнение результатов НИКО и ЕГЭ, НИКО и ОГЭ, ОГЭ и ЕГЭ.

Таким образом, необходима модель математической обработки результатов оценочных процедур, обеспечивающая расчет показателей, их привязку к вышеперечисленным актуальными направлениям, сравнение различных характеристик оценочных процедур между собой и за определенный период, там, где это уместно.

В соответствии с перечисленными выше актуальными направлениями развития системы образования и с учетом необходимости рассматривать каждое из актуальных направлений в целом по общеобразовательным организациям области и в разрезе муниципальных образований формируются направления комплексного анализа.

Направления комплексного анализа, анализируемые аспекты и источники данных для них представлены в таблице.

Направление	Анализируемые аспекты	Источники данных
1. Объективность оценки образовательных результатов	Выявление образовательных организаций с признаками необъективной оценки образовательных результатов	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
2. Объективность проведения оценочных процедур и Всероссийской олимпиады школьников	Сравнение показателей объективности оценочных процедур по отдельным процедурам, периодам, муниципальным образованиям	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО, база результатов олимпиад школьников
3. Качество массового образования в разрезе учебных предметов	Достижение устойчивых средних результатов по различным предметам	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
4. Качество массового образования в разрезе оценочных процедур	Достижение устойчивых средних результатов обучающимися в рамках различных оценочных процедур	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
5. Достижение обязательного минимума базовой подготовки в разрезе учебных предметов	Характеристики групп участников оценочных процедур с низкими результатами по учебным предметам	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
6. Достижение обязательного минимума базовой подготовки в разрезе оценочных процедур	Характеристики групп участников с низкими результатами в различных оценочных процедурах	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
7. Развитие таланта в разрезе учебных предметов	Характеристики групп участников оценочных процедур с высокими результатами по учебным предметам	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
8. Развитие таланта в разрезе оценочных процедур	Характеристики групп участников с высокими результатами в различных оценочных процедурах	ФИС ГИА и приема, база результатов ВПР, база результатов НИКО
9. Профориентация на рабочие специальности	Поступление в образовательные организации среднего профессионального образования	ФИС ГИА и приема, данные мониторинга
10. Профориентация на специальности высшего профессионального образования	Поступление в вузы, в том числе, в разрезе субъектов Российской Федерации	ФИС ГИА и приема, данные мониторинга

Описание показателей для каждого из направлений комплексного анализа.

В рамках направления "Объективность оценки образовательных результатов" 2 индекса: внешний индекс необъективности образовательной организации характеризует количество оценочных процедур, в которых для данной образовательной организации обнаружены признаки необъективности результатов; индекс неподтверждения медалистов характеризует долю медалистов, которые получили результаты ЕГЭ существенно ниже, чем требуемые для подтверждения медали.

В рамках направления "Объективность проведения оценочных процедур и Всероссийской олимпиады школьников" 2 показателя: индекс необъективности оценочной процедуры характеризует долю участников этой оценочной процедуры, находящихся в зоне риска, за счет того, что в их образовательных организациях обнаружены признаки необъективности результатов; индекс необъективности результатов Всероссийской олимпиады школьников характеризует долю участников, не подтвердивших свой результат в ЕГЭ.

В рамках направления "Качество массового образования в разрезе учебных предметов" 1 индекс: индекс массовых результатов по общеобразовательному предмету характеризует долю участников данной оценочной процедуры, которые достигли "средних" результатов.

В рамках направления "Качество массового образования в разрезе оценочных процедур" 1 индекс: индекс массовых результатов оценочной процедуры характеризует долю участников, показавших результаты не ниже "средних". Понятие "средних" результатов определяется на основе характеристик, представленных в спецификациях контрольных измерительных материалов каждой конкретной оценочной процедуры.

В рамках направления "Достижение обязательного минимума базовой подготовки в разрезе учебных предметов" 1 индекс: индекс низких результатов но предмету характеризует долю участников данной оценочной процедуры, не преодолевших нижнюю границу баллов. В качестве нижней границы в каждом общеобразовательном предмете берется сумма баллов, которая отличается от установленного разработчиками нижнего порогового балла по этому предмету на небольшую сумму баллов в сторону увеличения. Такой подход позволяет выявить тех участников, которые, хотя и преодолели "официальную" минимальную границу, но имеют весьма низкие результаты, свидетельствующие о наличии проблем в подготовке таких участников.

В рамках направления "Достижение обязательного минимума базовой подготовки в разрезе оценочных процедур" 1 индекс: индекс низких результатов оценочной процедуры характеризует долю участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых, хотя бы по одному из предметов в этой процедуре, сдаваемому в массовых масштабах, ниже нижней границы баллов по этому предмету.

В рамках направления "Развитие таланта в разрезе учебных предметов" I индекс: индекс высоких результатов по учебному предмету характеризует долю участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых не ниже границы достижения высокого уровня подготовки. Данная граница устанавливается на основе характеристик, приведенных в спецификации контрольных измерительных материалов.

В рамках направления "Развитие таланта в разрезе оценочных, процедур" 1 индекс: индекс высоких результатов оценочной процедуры характеризует долю участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых хотя бы по одному из предметов не ниже границы: достижения высокого уровня подготовки по этому предмету, от общего количества участников данной процедуры.

В рамках направления "Профориентация на рабочие специальности" 2 индекса: индекс поступления выпускников 9 классов в образовательные организации среднего профессионального образования характеризует долю поступления выпускников в данной выборке в данном году, поступивших в указанные образовательные организации; индекс поступления выпускников 11 классов в образовательные организации среднего профессионального образования: характеризует долю поступления выпускников в данной выборке в данном: году, поступивших в указанные образовательные организации.

В рамках, направления "Профориентация на специальности высшего профессионального образования" 2 индекса: индекс поступления в образовательные организации высшего профессионального образования характеризует долю выпускников 11 классов, поступивших в указанные организации; индекс подготовки к ЕГЭ характеризует долю выпускников, набравших на трех экзаменах ЕГЭ балл выше среднего.

Описание математического алгоритма расчета каждого показателя.

Русский язык является массовым экзаменом, поэтому его результаты должны входить в основу для расчета ряда показателей.

Внешний индекс необъективности образовательной организации:

I-й признак необъективности: завышенные значения среднего балла

1 этап: Строятся доверительные интервалы среднего балла по муниципальным образованиям:

Доверительный интервал (для выборочного среднего балла):

; ]

(на уровне достоверности 95%)

- количество участников в муниципальном образовании

- выборочное среднее итогового балла

- балл -го участника

- выборочное стандартное отклонение балла по муниципальному образованию

2 этап: Строятся доверительные интервалы среднего балла по образовательным организациям:

; ]

- количество участников в образовательной организации

- выборочное среднее итогового балла по образовательной организации,

- балл -го участника

- выборочное стандартное отклонение балла по образовательной организации

3 этап: Выявление образовательных организаций, левая (нижняя) граница доверительных интервалов которых, находится правее, чем правая (верхняя) граница доверительного интервала среднего балла по региону.

4 этап: Результат представляется в виде списка образовательных организаций.

II-й признак необъективности: наличие существенного несоответствия в результатах ЕГЭ и ОГЭ

1 этап: для каждой образовательной организации вычисляются агрегированные характеристики образовательных организаций по предметам (средний балл, баллы верхней и нижней квартили участников), по оценочным процедурам ВПР, ОГЭ, ЕГЭ.

2 этап: строится математическая модель (линейная регрессия) взаимосвязи между агрегированными характеристиками различных оценочных процедур по предметам:

(где )

3 этап: на базе математической модели 2 этапа строятся доверительные интервалы соотношений между агрегированными показателями ЕГЭ и ОГЭ по соответствующим предметам:

где

- уровень значимости.

4 этап: проводится сравнение агрегированных показателей всех образовательных организаций с границами доверительных интервалов.

5 этап: составляется список образовательных организаций, не попадающих по агрегированным характеристикам в доверительный интервал по соответствующему предмету в паре ЕГЭ-ОГЭ.

Окончательное вычисление индекса

Этап 1. Для одной оценочной процедуры составляется список образовательных организаций с признаками необъективных результатов, включающий все образовательные организации, вошедшие в список хотя бы по одному признаку.

Этап 2. Рассматривается несколько оценочных процедур. Для каждой из них составляется свой список образовательных организаций с признаками необъективных результатов. По третьему признаку рассматриваются различные предметы в парах ЕГЭ-ОГЭ.

Этап 3. Далее каждой из образовательных организаций присваивается целое число, равное количеству вхождений данной образовательной организации в списки с признаками необъективных результатов по различным оценочным процедурам.

Этап 4. Значение индекса для каждой образовательной организации равно вышеуказанному целому числу.

Вычисляемые значения показателей:

а. Рассматриваются следующие оценочные процедуры на предмет выявления ОО по признаку I: ВПР, 4 класс (русский язык, математика), ВПР

5 класс (русский язык, математика), ОГЭ 9 класс (русский язык математика), и по признаку II: пара ЕГЭ-ОГЭ (русский язык, математика), В каждой процедуре составляется список ОО, для которых выявлены признаки необъективности результатов.

б. Вычисляется индекс необъективности для всех образовательных организаций области.

Индекс неподтверждения медалистов

Данный показатель может быть вычислен для муниципалитета, области в целом. Индекс неподтверждения медалистов рассчитывается как процентная доля медалистов текущего года, набравших менее 189 баллов по сумме 3 лучших ЕГЭ, от общего числа медалистов текущего года.

Индекс необъективности оценочной процедуры

Индекс рассчитывается по выборке для конкретной оценочной процедуры как доля участников выборки, обучающихся в образовательных организациях, для которых обнаружены признаки необъективности результатов данной оценочной процедуры.

Вычисляется индекс необъективности следующих оценочных процедур: ВПР, 4 класс (русский язык, математика), ВПР, 5 класс (русский язык, математика), ОГЭ (русский язык, математика) по муниципальным образованиям области.

Индекс необъективности Всероссийской олимпиады школьников

Индекс рассчитывается как процентная доля участников Всероссийской олимпиады: школьников в конкретной выборке (по муниципальному образованию или по всей области), не подтвердивших диплом на соответствующем ЕГЭ (набравших менее 75 баллов по профильному экзамену), от общего количества участников данной олимпиады в данной выборке.

Индекс массовых результатов по общеобразовательному предмету

Индекс массовых результатов по общеобразовательному предмету вычисляется отдельно для каждой оценочной процедуры, в рамках которой оценивались результаты по данному предмету.

1 этап: По данному предмету в данной оценочной процедуре в данной параллели устанавливаются три граничных значения:

- Bmin - нижняя граница, задаваемая как минимальный балл по спецификации оценочной процедуры, плюс 5% от максимальной суммы баллов, которые можно набрать в этой оценочной процедуре по этому предмету в этой параллели;

- Btop - верхняя граница, задаваемая как балл по спецификации оценочной процедуры, который свидетельствует о достижении высоких результатов в этой оценочной процедуре по этому предмету в этой параллели;

- Bmid - среднее арифметическое между Bmin и Btop.

2 этап: индекс рассчитывается как доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых ее ниже Bmid по данному предмету.

Вычисляются индексы массовых результатов оценочных процедур: ВНР (все предметы, по которым проводились ВПР), ОГЭ (все предметы кроме немецкого, французского и испанского языков), ЕГЭ (все предметы кроме немецкого, французского и испанского языков).

Индекс массовых результатов оценочной процедуры

Индекс массовых результатов оценочной процедуры вычисляется для каждой из оценочных процедур ВПР (отдельно для 4 и 5 классов), ОГЭ, ЕГЭ. В каждой из этих процедур рассматриваются результаты по русскому языку и математике. Для каждой оценочной процедуры данный показатель может быть рассчитан как по области в целом, так и по отдельным муниципальным образованиям:. Индекс рассчитывается как процентная доля участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых одновременно не ниже Bmid по русскому языку и Bmid по математике, от общего количества участников данной процедуры.

Индекс низких результатов по общеобразовательному предмету

Индекс низких результатов по предмету вычисляется отдельно для каждой оценочной процедуры, в рамках которой оценивались результаты по данному предмету. Индекс рассчитывается как процентная доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых ниже Bmin по этому предмету.

Вычисляются индексы низких результатов по оценочным процедурам: ВПР (все предметы, по которым проводились ВНР), ОГЭ (все предметы кроме немецкого, французского и испанского языков), ЕГЭ (все предметы кроме немецкого, французского и испанского языков).

Индекс низких результатов оценочной процедуры

Индекс низких результатов оценочной процедуры вычисляется для каждой из оценочных процедур ВПР (отдельно для 4 и 5 классов), ОГЭ, ЕГЭ. В каждой из этих процедур рассматриваются результаты по предметам, сдаваемым в массовом масштабе. Для каждой оценочной процедуры данный показатель может быть рассчитан как по области в целом, так и по отдельным муниципальным образованиям.

Индекс низких результатов рассчитывается как процентная доля участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых хотя бы по одному из предметов в этой процедуре, сдаваемому в массовых масштабах, ниже Bmin по этому предмету, от общего количества участников.

Индекс высоких результатов по общеобразовательному предмету

Индекс высоких результатов по учебному предмету вычисляется отдельно для каждой оценочной процедуры, в рамках которой оценивались результаты по данному предмету. Индекс рассчитывается как процентная доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых не ниже Btop по данному предмету.

Вычисляются индексы высоких результатов по оценочным процедурам: ВНР (все предметы, по которым проводились ВНР), ОГЭ (все предметы кроме немецкого, французского и испанского языков), ЕГЭ (все предметы кроме немецкого, французского и испанского языков).

Индекс высоких результатов оценочной процедуры

Индекс высоких результатов оценочной процедуры вычисляется для каждой из оценочных процедур ВНР (отдельно для 4 и 5 классов), ОГЭ, ЕГЭ. В каждой из этих процедур рассматриваются результаты по всем предметам. Для каждой оценочной процедуры данный показатель может быть рассчитан как по области в целом, так и по отдельным муниципальным образованиям.

Индекс рассчитывается как процентная доля участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых хотя бы по одному из предметов не ниже Btop по этому предмету, от общего количества участников данной процедуры.

Индекс поступления в образовательные организации среднего профессионального образования

Индекс поступления в образовательные организации среднего профессионального образования вычисляется для определенной выборки (образовательные организации, муниципалитет, область в целом) выпускников 9, 11 классов в конкретный год. Индекс вычисляется как процентная доля выпускников 9, 11 классов в данной выборке в данном году, поступивших в образовательные организации среднего профессионального образования, от общего числа выпускников 9, 11 классов данного года в данной выборке.

Индекс поступления в образовательные организации высшего профессионального образования

Индекс поступления в образовательные организации высшего профессионального образования вычисляется для каждой образовательной организации и каждого субъекта Российской Федерации в конкретный год. Индекс вычисляется как процентная доля выпускников 11 классов, поступивших в организации высшего профессионального образования, от всех выпускников.

Индекс подготовки к ЕГЭ вычисляется для каждой образовательной организации и каждого муниципального образования в конкретный год. Индекс вычисляется как процентная доля выпускников, набравших не менее 150 баллов по сумме 3 лучших ЕГЭ, от всех выпускников.

IV. Формирование у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов

Для формирования у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов, рекомендуется применять следующие меры:

- реализовывать в приоритетном порядке программы помощи образовательным организациям с низкими результатами, программы помощи учителям, имеющим профессиональные проблемы и дефициты, руководителям образовательных организаций, в которых есть проблемы с организацией образовательного процесса и т.п.; во всех перечисленных случаях применять меры административного воздействия, только если программы помощи не приводят к позитивным сдвигам в результатах;

- использовать для оценки деятельности педагога результаты, показанные его учениками в независимых оценочных процедурах только по желанию педагога;

- способствовать повышению заинтересованности образовательных организаций в использовании объективных результатов региональных и федеральных оценочных процедур;

- проводить разъяснительную работу с муниципальными органами управления образованием и руководителями образовательных организаций по вопросам повышения объективности оценки образовательных результатов и реализации перечисленных выше мер.

Важным механизмом обеспечения объективности оценивания является внутришкольная система оценки образовательных результатов, способствующая эффективному выполнению педагогами трудовой функции "по объективной оценке знании: обучающихся на основе различных методов контроля в соответствии с реальными учебными возможностями детей". Элементами такой системы в образовательной организации являются:

- положение о внутренней системе оценки качества подготовки обучающихся;

- система регулярных независимых оценочных процедур, объективность результатов которых обеспечивает руководство образовательной организации;

- принятые в образовательной организации прозрачные критерии внутришкольного текущего и итогового оценивания, обеспечивающие справедливую непротиворечивую оценку образовательных результатов обучающихся;

- непрерывный процесс повышения квалификации учителей в области оценки результатов образования, включающий не только обучение на курсах повышения квалификации, но и внутришкольное обучение и самообразование;

- проведение учителями и методическими объединениями аналитической экспертной работы с результатами оценочных процедур.