Приложение 1. Рекомендации по организации и проведению независимых процедур оценки качества образования

Приложение 1
к Рекомендациям...

Рекомендации по организации и проведению независимых процедур оценки качества образования

Общие положения

Важнейшим условием эффективного использования результатов оценочной процедуры является обеспечение на всех стадиях разработки, подготовки и проведения оценочной процедуры определенных условий, в том числе, обеспечения валидности инструментария по отношению к тому, что оценивается, и надежности процедур (разработки инструментария, проведения самих процедур, обработки и анализа результатов). Другим важным условием, позволяющим проводить эффективный анализ результатов оценочных процедур, является наличие четкого описания этих процедур, позволяющего точно интерпретировать полученные результаты.

В методических рекомендациях изложены основные принципы, которым должны удовлетворять подготовка и проведение оценочных процедур, разработка инструментария для их проведения. Указанные принципы направлены на обеспечение объективности результатов оценочных процедур и эффективности их использования в целях принятия на их основе управленческих решений.

Настоящие рекомендации могут быть использованы при формировании системы оценки качества образования на уровне субъекта РФ, муниципалитета или на уровне образовательной организации.

Инструктивно-методическое обеспечение процедур оценки качества образования

Концептуальное описание оценочной процедуры

Основой для формирования системы инструктивно-методического обеспечения проведения оценочной процедуры является концептуальное описание этой процедуры, включающее обоснование подходов к разработке основных элементов оценочной процедуры и отраженное в соответствующем документе, например, в концепции оценочной процедуры.

Концептуальное описание оценочной процедуры включает.

1. Описание целей и задач проведения оценочной процедуры, групп участников оценочной процедуры.

2. Установление периодичности и графика проведения оценочной процедуры в соответствии с ее целями и задачами.

3. Описание методики формирования выборки участников оценочной процедуры. В первую очередь определяется, будет ли данная оценочная процедура выборочной или будет проводиться на генеральной совокупности участников. Методика формирования выборки участников оценочной процедуры определяется ее целями и выбранной степенью обобщения результатов. Выборка должна быть репрезентативна для всех групп категорий участников, на которые предполагается распространить выводы, полученные в ходе исследования.

4. Описание подходов к выбору параметров, подлежащих оценке, для решения задач оценочной процедуры (например, результаты обучающихся в какой-либо предметной области, профессиональные компетенции учителей, условия ведения образовательной деятельности и т.п.).

5. Обоснование выбора методов сбора информации при проведении оценочной процедуры в зависимости от ее целей и специфики (наблюдение, испытание, опрос, интервью, фокус-группы и т.д.) и соответствующего инструментария (диагностические работы, опросные листы, карты наблюдений и т.д.).

6. Если оценочная процедура предполагает выполнение ее участниками, диагностической/контрольной работы:

- описание подходов к отбору ее содержания в соответствии с целями проведения оценочной процедуры и параметрами, подлежащими оценке;

- описание подходов к операционализации требований ФГОС соответствующего уровня образования*(1) и (или) ФГКОС*(2) и (или) профессиональных стандартов*(3) и т.п.; описание подходов к формированию кодификатора требований к уровню подготовки при проведении оценочной работы. При использовании готового кодификатора требований - подходы к его сопоставлению с требованиями ФГОС, ФКГОС, профессиональных стандартов и т.п.;

- описание объектов контроля, модели оценки объектов контроля, общие подходы к оцениванию выполнения участниками оценочной процедуры отдельных заданий и работы в целом.

7. При наличии в составе инструментария листов наблюдения:

- описание подходов к операционализации требований ФГОС (в том числе и дошкольного образования, если это соответствует целям исследования)*(4), профессионального стандарта и т.п. при определении структуры и содержания листов наблюдения. При использовании готового инструментария - подходы к его сопоставлению с требованиями ФГОС, ФКГОС, профессиональных стандартов и т.п.;

- описание объектов наблюдения и моделей наблюдения, общие подходы к оцениванию результатов наблюдения.

8. Описание подходов к апробации инструментария оценочной процедуры.

9. Описание подходов к шкалированию результатов оценочной процедуры, если результаты предполагается переводить в единую шкалу.

10. Описание набора сведений об образовательных организациях и (или) участниках оценочной процедуры, условиях ведения образовательной деятельности, которые подлежат сбору в соответствии с целями проведения данной процедуры.

11. Описание подходов к использованию алгоритмов обработки результатов оценочной процедуры.

12. Перечень направлений анализа результатов оценочной процедуры, соответствующий ее целям.

13. Модели использования результатов оценочной процедуры с указанием групп потребителей и круга возможных проблем, решению которых будет способствовать использование результатов.

14. Механизм установления соответствия результатов заданным критериям (если это предусмотрено целями проведения оценочной процедуры).

15. Описание путей обсуждения результатов оценочной процедуры экспертным сообществом и(или) профессиональной общественностью.

В концептуальном документе, описывающем оценочную процедуру, могут содержаться и другие пункты, если это потребуется для достижения целей конкретной процедуры.

Порядок проведения оценочной процедуры

Порядок проведения оценочной процедуры должен соответствовать заявленным концептуальным подходам к ее проведению и включать описание всех направлений работ при проведении оценочной процедуры; описание организационно-технологического обеспечения всех этапов оценочной процедуры; описание кадрового обеспечения; описание действий всех категорий специалистов и участников в процессе проведения оценочной процедуры, план-график проведения оценочной процедуры, описание контрольных измерительных материалов для проведения оценочной процедуры или описание другого используемого инструментария.

1. Описание этапов проведения оценочной процедуры должно содержать:

- формирование инструментария (разработка, приобретение, использование открытых материалов или иные варианты);

- доставка и, при необходимости, хранение контрольных измерительных материалов, если предусмотрено их использование;

- проведение оценочной процедуры;

- обработка и анализ результатов;

- обсуждение и использование результатов.

2. Описание организационно-технологического обеспечения оценочной процедуры должно включать:

- описание технологии проведения оценочной процедуры, включая описание технологии доставки, хранения и выдачи заданий участникам, технологии сбора и формирования базы результатов;

- описание технологии оценивания развернутых ответов участников (если есть задания с развернутыми ответами);

- описание технологии сбора контекстной и иной информации об образовательных организациях и участниках (если проводится);

- описание технологии сбора результатов стандартизированного наблюдения (если проводится).

3. Описание кадрового обеспечения оценочной процедуры должно содержать:

- перечень категорий специалистов, участвующих в проведении оценочной процедуры, их роли и функции;

- требования к квалификации и условиям допуска к работе для всех категорий специалистов, участвующих в проведении оценочной процедуры;

- порядок отбора, подготовки и, при необходимости, аттестации специалистов всех категорий для участия в проведении оценочной процедуры;

- описание действий всех категорий специалистов и участников в процессе проведения оценочной процедуры.

4. Должны быть разработаны инструктивные материалы для участников и всех категорий специалистов:

- отдельные документы для каждой категории специалистов, в которых описаны все действия каждого из специалистов;

- документы для каждой категории участников, содержащие минимально необходимую информацию при проведении оценочной процедуры, инструкцию по выполнению заданий и контрольной (проверочной, диагностической и т.п.) работы в целом (если проводится); инструкцию по заполнению анкеты (при проведении анкетирования).

5. План-график проведения оценочной процедуры, включающий мероприятия, сроки, ответственных.

6. Описание контрольных измерительных материалов для проведения оценочной процедуры должно включать:

- спецификацию (описание) контрольной (проверочной, диагностической и т.п.) работы, в которой указываются:

назначение работы;

документы, определяющие содержание работы;

структура работы;

кодификаторы проверяемых элементов содержания и требований к уровню подготовки участников;

распределение заданий работы по позициям кодификатора;

распределение заданий работы по уровню сложности;

типы заданий, сценарии выполнения заданий;

система оценивания выполнения отдельных заданий и работы в целом;

время выполнения работы;

описание дополнительных материалов и оборудования, необходимых для проведения работы;

рекомендации по подготовке к работе;

- демонстрационный вариант работы, который является примером варианта, составленного в соответствии со спецификацией (описанием);

- методику шкалирования, в том числе перевода баллов, набранных участниками оценочной процедуры за выполнение работы, в 5-балльную или иную шкалу оценивания в соответствии с целями оценочной процедуры.

7. Описание инструментария для проведения стандартизированного наблюдения (если проводится):

- структура и перечень показателей, индикаторов и т.п. для проведения стандартизированного наблюдения;

- форма листа наблюдений;

- описание системы оценивания результатов наблюдения;

- описание системы шкалирования результатов наблюдения.

8. Описание инструментария для сбора информации об образовательных организациях и участниках оценочной процедуры (если предполагается собирать информацию):

- описание групп участников оценочной процедуры, о которых собирается информация;

- перечень собираемой информации.

Организационно-технологическое обеспечение процедур оценки качества образования

Организационно-технологическое обеспечение описывается порядком проведения оценочной процедуры.

Основным требованием к организационно-технологическому обеспечению оценочных процедур является наличие организационных мер и технологических инструментов для обеспечения объективности результатов оценочной процедуры:

- единообразия условий проведения оценочной процедуры для всех участников и образовательных организаций, в том числе с учетом наличия различных категорий участников с особыми потребностями;

- сохранности и конфиденциальности данных, обрабатываемых в процессе проведения оценочной процедуры, в том числе:

конфиденциальности контрольных измерительных материалов на всех этапах вплоть до окончания оценочной процедуры;

порядка в аудиториях в ходе выполнения участниками всех действий в рамках проведения оценочной процедуры;

- сохранности выполненных участниками работ на всех этапах вплоть до формирования базы результатов;

- сохранности базы результатов оценочной процедуры:

мероприятий по мониторингу и контролю хода проведения оценочной процедуры;

мероприятий по обеспечению единых подходов к экспертной оценке результатов и любой другой экспертизе, осуществляемой в ходе оценочной процедуры, а также по обеспечению качества экспертной оценки;

мероприятий по анализу результатов оценочной процедуры на предмет объективности.

Кадровое обеспечение процедур оценки качества образования

Кадровое обеспечение описывается порядком проведения оценочной процедуры.

Основным требованием к кадровому обеспечению оценочной процедуры является наличие необходимых условий для обеспечения объективности результатов оценочной процедуры. В том числе, порядком его проведения должны быть предусмотрены:

- механизмы контроля обеспеченности кадрами всех этапов проведения оценочной процедуры в соответствии с требованиями порядка проведения;

- меры по обеспечению единообразия условий привлечения, подготовки и, при необходимости, аттестации специалистов для проведения оценочной процедуры;

- меры по предотвращению конфликта интересов в процессе проведения оценочной процедуры.

Инструментарий для проведения процедур оценки качества образования

Контрольные измерительные материалы

Основные этапы подготовки контрольных измерительных материалов, проверки работ участников, оценивания и шкалирования результатов описываются порядком проведения оценочной процедуры.

Основные требования к контрольным измерительным материалам (далее - КИМ) оценочной процедуры:

- обеспечение валидности КИМ: их соответствие заявленным целям работы;

- обеспечение соответствия КИМ образовательным стандартам, примерным образовательным программам, спецификации (описанию), в том числе, путем организации соответствующих экспертиз в процессе разработки КИМ, а также путем использования технологических инструментов для разработки и хранения КИМ;

- обеспечение высокого качества используемых в КИМ заданий, отсутствие в них ошибок и некорректных формулировок, в том числе, путем организации соответствующих экспертиз в процессе разработки КИМ, проведения апробации и стандартизации инструментария, а также путем использования технологических инструментов для разработки и хранения КИМ;

- проведение анализа качества КИМ на основе первичных данных о результатах оценочной процедуры.

Разработка контрольной (проверочной, диагностической и т.п.) работы включает разработку спецификации и достаточного количества вариантов работы, обеспечивающих возможность построения единой шкалы и возможность выделения уровней выполнения работы, построения профилей выполнения работы по содержанию и (или) видам деятельности и (или) уровню компетенций участников оценочной процедуры.

Инструментарий для стандартизированного наблюдения

При проведении оценочных процедур может быть организовано стандартизированное наблюдение с использованием специального инструментария. Основные этапы подготовки инструментария для стандартизированного наблюдения, оценивания и шкалирования результатов описываются порядком проведения исследования.

Основные требования к инструментам для стандартизированного наблюдения в ходе исследования качества образования:

- обеспечение соответствия инструментов стандартизированного наблюдения заявленным целям исследования, направленность на оценку тех объектов, которые определены в концептуальном документе, описывающем исследование;

- обеспечение сопоставимости содержания инструментов для стандартизированного наблюдения с ФГОС, профессиональными стандартами и т.п., в том числе, путем организации экспертиз в процессе разработки инструментов для стандартизированного наблюдения;

- проведение анализа качества инструментов для стандартизированного наблюдения на основе первичных данных о результатах исследования.

Разработка инструментов для стандартизированного наблюдения включает создание единой шкалы и возможность построения профилей результатов наблюдения для различных групп участников исследования по разным объектам наблюдения.

Инструментарий сбора контекстной информации, информации об особенностях образовательного процесса, взглядах и мнениях участников оценочной процедуры

Основные этапы подготовки инструментария для сбора информации об образовательных организациях и участниках оценочной процедуры описываются порядком проведения оценочной процедуры.

Основными требованиями к инструментам для сбора информации об образовательных организациях и участниках в ходе оценочной процедуры являются:

- соответствие методов сбора информации целям оценочной процедуры, ее масштабам, характеру контекстной информации;

- обеспечение соответствия инструментов сбора информации об образовательных организациях и участниках оценочной процедуры заявленным целям оценочной процедуры, направленность на оценку тех объектов, которые определены в концептуальном документе, описывающем оценочную процедуру;

- обеспечение высокого качества инструментов для сбора информации, отсутствие некорректных формулировок, в том числе, путем организации соответствующих экспертиз, проведения апробации и стандартизации инструментария;

- проведение анализа качества инструментов для сбора информации об образовательных организациях и участниках на основе первичных данных о результатах оценочной процедуры.