Приложение 1.2. Модель математической обработки результатов по показателям мониторинга качества подготовки обучающихся

Приложение 1.2.
к приложению 1 приказа министерства
образования Сахалинской области
от 07.09.2022 N 3.12-38

Модель математической обработки результатов по показателям мониторинга качества подготовки обучающихся

1. Общие положения

1. Модель математической обработки результатов по показателям мониторинга качества подготовки обучающихся (далее - Модель) представляет алгоритмы математической обработки, обеспечивающие расчет значений целевых показателей для исследования их динамики.

2. Алгоритмы расчета показателей

2.1. Успешность.

Успешность может вычисляться как для групп обучающихся (на уровне региона, муниципалитета, школы, параллели классов, класса), так и для каждого обучающегося. Расчет показателей для групп обучающихся и для отдельных обучающихся аналогичен.

Успешность выполнения работы характеризуется общим баллом за выполнение всей работы. Успешность вычисляется как отношение баллов, полученных всеми обучающимися за выполнение всей работы, к максимальному возможному баллу за всю работу (произведение шах балла на количество участников), выраженное в процентах.

Данный показатель в зависимости от типа работы характеризует:

- успешность освоения учебной программы по предмету (предметные результаты) - не менее 50%;

- успешность сформированности метапредметных умений - не менее 50%.

2.2. Индексы

а) В разрезе учебных предметов и в разрезе оценочных процедур рассчитываются три индекса: индекс низких результатов, индекс массовых результатов и индекс высоких результатов.

Индекс низких результатов по предмету характеризует долю участников данной оценочной процедуры, не преодолевших нижнюю границу баллов. В качестве нижней границы в каждом общеобразовательном предмете берется сумма баллов, которая отличается от установленного разработчиками нижнего порогового балла по этому предмету на небольшую сумму баллов в сторону увеличения. Такой подход позволяет выявить тех участников, которые, хотя и преодолели "официальную" минимальную границу, но имеют весьма низкие результаты, свидетельствующие о наличии проблем в подготовке таких участников.

Индекс низких результатов оценочной процедуры характеризует долю участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых хотя бы по одному из предметов в этой процедуре, сдаваемому в массовых масштабах, ниже нижней границы баллов по этому предмету.

Индекс массовых результатов по общеобразовательному предмету характеризует долю участников данной оценочной процедуры, которые достигли "средних" результатов.

Индекс массовых результатов оценочной процедуры характеризует долю участников, показавших результаты не ниже "средних". Понятие "средних" результатов определяется на основе характеристик, представленных в спецификациях контрольных измерительных материалов каждой конкретной оценочной процедуры.

Индекс высоких результатов по учебному предмету характеризует долю участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых не ниже границы достижения высокого уровня подготовки. Данная граница устанавливается на основе характеристик, приведенных в спецификации контрольных измерительных материалов.

Индекс высоких результатов оценочной процедуры характеризует долю участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых хотя бы по одному из предметов не ниже границы достижения высокого уровня подготовки по этому предмету, от общего количества участников данной процедуры.

б) Предварительная обработка данных: алгоритм перевода баллов ЕГЭ по математике в единую шкалу.

ЕГЭ по математике является массовым экзаменом, поэтому его результаты должны входить в основу для расчета ряда показателей. Однако в настоящее время в рамках ЕГЭ по математике проводится два экзамена - базовый и профильный. Чтобы учитывать их одновременно, необходимо перевести результаты обоих экзаменов на единую шкалу.

Для этого балл, полученный участником базового ЕГЭ по математике, переводится в 100-бапльную шкалу по правилу, полученному на основе сопоставления результатов участников, сдававших оба экзамена - базовый и профильный ЕГЭ по математике.

Для каждого балла от 0 до 20 в массиве результатов базового ЕГЭ по математике выбирается группа участников, набравших этот балл и сдававших профильный ЕГЭ по математике.

Для полученной группы участников вычисляется медиана балла в профильном ЕГЭ по математике.

Таким образом, каждому баллу от 0 до 20 ставится в соответствие балл от 0 до 100.

в) Описание математического алгоритма расчета индексов.

1 этап: По данному предмету в данной оценочной процедуре в данной параллели устанавливаются три граничных значения:

- Bmin - нижняя граница, задаваемая как минимальный балл по спецификации оценочной процедуры плюс 5% от максимальной суммы баллов, которые можно набрать в этой оценочной процедуре по этому предмету в этой параллели;

- Btop - верхняя граница, задаваемая как балл по спецификации оценочной процедуры, который свидетельствует о достижении высоких результатов в этой оценочной процедуре по этому предмету в этой параллели;

- Bmid - среднее арифметическое между Bmin и Btop.

2 этап: Расчет индексов.

Индекс низких результатов по общеобразовательному предмету.

Индекс низких результатов по предмету вычисляется отдельно для каждой оценочной процедуры, в рамках которой оценивались результаты по данному предмету.

Индекс рассчитывается как процентная доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых ниже Bmin по этому предмету.

Индекс низких результатов оценочной процедуры.

Индекс низких результатов оценочной процедуры вычисляется для каждой из оценочных процедур ВПР (отдельно для 4 и 5 классов), ОГЭ, ЕГЭ. В каждой из этих процедур рассматриваются результаты по предметам, сдаваемым в массовом масштабе. Для каждой оценочной процедуры данный показатель может быть рассчитан как по Российской Федерации в целом, так и по отдельным субъектам Российской Федерации.

Индекс низких результатов рассчитывается как процентная доля участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых хотя бы по одному из предметов в этой процедуре, сдаваемому в массовых масштабах, ниже Bmin по этому предмету, от общего количества участников.

Индекс массовых результатов по общеобразовательному предмету.

Вычисляется отдельно для каждой оценочной процедуры, в рамках которой оценивались результаты по данному предмету.

Индекс рассчитывается как доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых не ниже Bmid по данному предмету.

Индекс массовых результатов оценочной процедуры.

Вычисляется для каждой из оценочных процедур. В каждой из этих процедур рассматриваются результаты по русскому языку и математике.

Индекс рассчитывается как процентная доля участников данной оценочной процедуры (ВПР, ЕГЭ или ОГЭ) в данной параллели, результаты которых одновременно не ниже Bmid по русскому языку и Bmid по математике, от общего количества участников данной процедуры.

Индекс высоких результатов по учебному предмету.

Вычисляется отдельно для каждой оценочной процедуры, в рамках которой оценивались результаты по данному предмету.

Индекс рассчитывается как процентная доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых не ниже Btop по данному предмету.

Индекс высоких результатов оценочной процедуры.

Вычисляется для каждой из оценочных процедур В каждой из этих процедур рассматриваются результаты по всем предметам.

Индекс рассчитывается как процентная доля участников данной оценочной процедуры в данной параллели, результаты которых хотя бы по одному из предметов не ниже Btop по этому предмету, от общего количества участников данной процедуры.

2.3. Показатели по выявлению уровней освоения функциональной грамотности

Успешность может вычисляться как для групп обучающихся (на уровне региона, муниципалитета, школы, параллели классов, класса, внутри кластера), так и для каждого обучающегося. Расчет показателей для групп обучающихся и для отдельных обучающихся аналогичен.

Успешность выполнения работы характеризуется общим баллом за выполнение всей работы. Успешность вычисляется как отношение баллов, полученных всеми обучающимися за выполнение работы, к максимальному возможному баллу за всю работу (произведение max балла на количество участников), выраженное в процентах.

Данный показатель характеризует успешность достижения функциональной грамотности - не менее 50%.

Уровни успешности.

В соответствии со спецификацией каждой оценочной процедуры производится расчет:

- процента/доли обучающихся, находящихся на низком уровне успешности;

Данный показатель характеризует достижение обучающимися низкого и порогового уровня функциональной грамотности, при достижении которого учащиеся начинают демонстрировать применение знаний и умений в простейших учебных и вне учебных ситуаций. Соответствует 1 и 2 уровням функциональной грамотности в исследовании PISA.

- процента/доли обучающихся, находящихся на базовом уровне успешности;

Данный показатель характеризует достижение обучающимися такого уровня функциональной грамотности, при котором проявляется способность использовать имеющиеся знания и умения для получения новой информации. Соответствует 3 и 4 уровням функциональной грамотности в исследовании PIS А.

- процента/доли обучающихся, находящихся на высоком уровне успешности;

Данный показатель характеризует достижение обучающимися такого уровня функциональной грамотности, при котором они проявляют способность самостоятельно мыслить и функционировать в сложных условиях. Соответствует 5 и 6 уровням функциональной грамотности в исследовании PISA.

2.4. Доли.

Доля 00 (или обучающихся) по показателю рассчитывается как отношение количества 00 (или обучающихся) с результативностью по исследуемому показателю к общему количеству 00 (или обучающихся), принимавших участие в исследовании, выраженное в процентах.

2.5. Показатели необъективности 00 по результатам РДР.

1 признак:

а) Кластеризация школ: НОШ, ООШ, СОШ, школы повышенного типа

б) Построение доверительного интервала среднего балла в каждом кластере.

ГАРАНТ:

См. графический объект

= 1.96 (на уровне достоверности 95%)

- количество участников в регионе

ГАРАНТ: См. графический объект	- выборочное среднее итогового балла, - балл i-го участника
ГАРАНТ: См. графический объект	- выборочное стандартное отклонение балла по региону

в) Построение доверительного интервала по каждой 00.

ГАРАНТ:

См. графический объект

m - количество участников в ОО

ГАРАНТ: См. графический объект	- выборочное среднее итогового балла по ОО, - балл i-го
ГАРАНТ: См. графический объект	- выборочное стандартное отклонение балла по ОО

г) Выявление ОО, левая (нижняя) граница доверительных интервалов которых находится правее, чем правая (верхняя) граница доверительного интервала среднего балла по региону.

д) Результат представляется в виде списка ОО.

2 признак:

а) Построение кривой распределения первичных баллов (кривая Гаусса) для каждой ОО.

б) Выявление ОО, демонстрирующих "пики, всплески" на границе базового и повышенного уровней.

в) Результат представляется в виде списка ОО.

По результатам обоих признаков формируется окончательный список ОО с признаками необъективности, а также рассчитывается доля (в зависимости от исследуемого показателя).