Приложение 3. Порядок проведения НИКО по учебному предмету "Технология"

Приложение 3
к приказу Министерства образования
и науки Удмуртской Республики
от 10 октября 2019 г. N 1216

Порядок
проведения НИКО по учебному предмету "Технология"

1. Общие положения

1.1. Участники Национального исследования качества образования по учебному предмету "Технология" (далее - исследование) - обучающиеся 5 и 8 классов общеобразовательных организаций Удмуртской Республики (далее - ОО).

1.2. Исследование проводится в ОО Удмуртской Республики, включенных в выборку, 15 октября 2019 года для 5 классов и 17 октября 2019 года для 8 классов.

1.3. В исследовании принимают участие все обучающиеся параллели.

1.4. Рекомендуемое время для проведения исследования: 2-5 урок.

1.5. Продолжительность проведения исследования - 55 минут, включая инструктаж и выдачу материалов (5 минут), выполнение практических заданий (45 минут) и анкетирование участников (5 минут).

1.6. Исследование носит практический характер и предполагает выполнение каждым обучающимся определённого набора практических заданий.

1.7. Оформление ответов на практические задания и на вопросы анкеты производится черной гелевой ручкой.

1.8. Исследование проводится в аудитории без дополнительного оборудования.

1.9. Исследование проводится анонимно, данные об участниках в рамках исследования собираются без привязки к Ф.И.О. ОО может принять решение о фиксации и хранении у себя результатов участников в привязке к Ф.И.О. для предоставления результатов родителям и выставления положительных отметок участникам, успешно справившимся с выполнением практических заданий.

1.10. Министерство образования и науки Удмуртской Республики (далее - МОиН УР) назначает специалиста, обеспечивающего координацию работ по проведению исследования на территории Удмуртской Республики (регионального координатора).

1.11. МОиН УР (по согласованию с федеральным организатором) привлекает к оцениванию практических заданий экспертов. Экспертами могут быть учителя, имеющие опыт преподавания предмета "Технология" не менее 3 лет, работающие в ОО, в которых не проводится исследование. Количество экспертов по оцениванию практических заданий определяется из расчета не менее одного эксперта на каждую аудиторию (15 человек).

1.12. Для проведения процедур исследования используются наборы практических заданий, бланки анкет, бланки форм ведения наблюдения и оценивания практических заданий, изготовленные типографским способом.

1.13. Материалы доставляются федеральным организатором централизованно в специальных защищенных от несанкционированного вскрытия сейф-пакетах. МОиН УР организует доставку материалов в каждую ОО, сбор материалов и последующую доставку материалов из каждой ОО региональному координатору для сканирования.

1.14. Каждый сейф-пакет содержит материалы, рассчитанные на одну аудиторию:

- 16 наборов практических заданий (включая 1 запасной),

- 16 бланков анкет (включая 1 запасной),

- 16 бланков форм ведения наблюдения и оценивания выполнения практических заданий (включая 1 запасной),

- бланк протокола проведения,

- доставочный пакет.

1.15. Материалы, предназначенные для проведения процедур исследования в конкретной ОО, должны быть доставлены в ОО с соблюдением условий конфиденциальности не позднее 14 октября 2019 года для 5 классов и не позднее 16 октября 2019 года для 8 классов

1.16. Материалы для каждого участника (индивидуальный комплект) содержат 1 набор практических заданий, 1 бланк анкеты и 1 бланк формы ведения наблюдения и оценивания выполнения практических заданий, помеченные индивидуальным кодификатором

1.17. Для проведения процедур исследования в каждой ОО должен быть назначен ответственный организатор проведения исследования в ОО. Организатором может быть руководитель ОО или назначенный им ответственный за взаимодействие с МОиН УР, региональным координатором и общую координацию проведения исследования в ОО. Списки ответственных организаторов утверждаются МОиН УР.

1.18. Во время проведения процедур исследования в каждой аудитории должно находиться не более 15 участников. Обязательно присутствие организатора в аудитории и эксперта по оцениванию практических заданий. Желательно присутствие общественных наблюдателей, а также использование видеонаблюдения.

1.19. Во время проведения исследования в каждой аудитории заполняется бумажный протокол проведения, в котором записывается Ф.И.О. участника в таблице рядом с номером выданного данному участнику индивидуального комплекта бланков.

1.20. По окончании процедуры исследования все материалы от каждой аудитории упаковываются в специальные доставочные пакеты (предоставляются централизованно по количеству аудиторий) и доставляются региональному координатору.

1.21. Региональный координатор осуществляет сканирование материалов и отправку полученных изображений через интернет на сервер обработки.

1.22. Дальнейшая верификация и проверка работ осуществляются централизованно с применением дистанционных технологий.

1.23. По согласованию с МОиН УР учителя технологии, имеющие опыт работы не менее 3 лет, могут быть привлечены к экспертному оцениванию развернутых ответов участников исследования. Оценивание выполняется в удаленном режиме через Интернет.

1.24. После проведения исследования в личном кабинете ОО на портале ФИС ОКО-НИКО осуществляется анкетирование организаторов процедур исследования в ОО, учителей технологии, экспертов по оцениванию практических заданий с целью сбора мнений участников исследования о возможности использования результатов исследования для повышения качества образования, а также для получения дополнительной информации об особенностях проведения процедуры исследования, важной с точки зрения интерпретации полученных результатов.

1.25. Анкетирование экспертов, осуществляющих дистанционную проверку выполнения практических заданий, организуется региональным координатором.

1.26. При проведении анкетирования исключаются персональные данные участников. Рассылка и сбор анкет осуществляется в электронном виде с помощью ФИС ОКО (прямая ссылка на личный кабинет ОО - https://lk-fisoko.obrnadzor.gov.ru/).

1.27. Результаты исследований направляются ОИВ для использования в работе, а также обсуждаются на конференциях по оценке качества образования.

2. Проведение диагностических работ и анкетирования участников.

2.1. Ответственный организатор проведения НИКО:

2.1.1. формирует список организаторов в аудиториях (не менее одного запасного), определяет технического специалиста (при необходимости) и закрепляет приказом образовательной организации сотрудников пункта проведения исследования (далее - ППИ), согласованных для участия в проведении НИКО.

2.1.2. назначает уполномоченного представителя ОО для получения материалов исследования у регионального координатора (либо получает материалы исследования лично):

- для 5 классов - не позднее 14 октября 2019 года;

- для 8 классов - не позднее 16 октября 2019 года;

Ответственность за целостность и сохранность материалов с момента доставки в ОО и до момента вскрытия сейф-пакетов перед проведением исследования возлагается на ответственного организатора ОО.

2.1.3. закрепляет помещение для размещения участников исследования, закончивших выполнение работы раньше отведённого времени, а также обеспечивает дежурство сотрудников ОО на этаже для соблюдения порядка и тишины.

2.1.4. формирует график проведения НИКО в ППИ. Уведомляет организаторов в аудиториях, экспертов по оцениванию практических заданий о времени начала и окончания исследования.

2.1.5. не позднее, чем за 12 часов до проведения процедур исследования обеспечивает организацию мест проведения исследования (аудиторий), распределив обучающихся по аудиториям из расчёта по 15 человек (по одному за партой) независимо от гендерного признака. Для каждой аудитории подготавливается список участников исследования, распределённых в аудитории.

В каждой аудитории для проведения исследования должны быть обеспечены:

- рабочие места в соответствии с количеством участников;

- рабочие места для организатора в аудитории и для эксперта по оцениванию практических заданий;

- место для вещей участников исследования;

- чёрная гелевая ручка для каждого участника и не менее двух запасных у организатора;

- листы для черновика для каждого участника на его рабочем месте (для 5 и 8 классов);

- ножницы для вскрытия сейф-пакета;

- жёсткие папки-планшеты (по возможности) для закрепления протокола, который организатор мог бы заполнять, перемещаясь по аудитории.

На стенах аудитории не должно быть справочных материалов по учебному предмету "Технология".

2.1.6. не позднее чем за час до начала процедуры проверяет прибытие всех организаторов по аудиториям и при необходимости корректирует список распределения сотрудников с учётом состояния их здоровья и других объективных обстоятельств из числа резервных сотрудников ОО.

2.1.7. не позднее, чем, за 20-30 минут до начала исследования, встречает прибывших в ППИ экспертов по оцениванию практических заданий, заранее уведомив их о дате, месте и времени проведения НИКО, знакомит с аудиториями ППИ.

2.1.8. за 15-20 минут до начала исследования выдаёт организаторам в аудиториях сейф-пакеты с материалами исследования в присутствии экспертов по оцениванию практических заданий и общественных наблюдателей (при наличии).

2.1.9. по окончании процедуры исследования собирает:

- доставочные пакеты с материалами исследования по количеству участников (наборы практических заданий, заполненные бланки анкеты и бланки форм ведения наблюдения и оценивания выполнения практических заданий);

- невскрытые индивидуальные комплекты участников;

- вскрытые, но не использованные комплекты;

- испорченные комплекты;

- заполненные бумажные протоколы проведения (по количеству заявленных в исследовании аудиторий), полученные вместе с материалами для проведения исследования, в которых установлено соответствие между Ф.И.О. обучающихся и номерами выданных им комплектов;

- пустые конверты от индивидуальных комплектов бланков и черновики участников, упакованные в сейф-пакеты, в которых были получены материалы;

2.1.10. во время приёмки материалов от организаторов в аудиториях перепроверяет:

- доставочные пакеты - на правильность сопроводительной информации и полноту комплектации материалов исследования, наличия подписи эксперта во всех формах ведения наблюдения и оценивания выполнения практических заданий, наличия подписи организатора в аудитории и эксперта на доставочном пакете;

- бумажный протокол - на соответствие Ф.И.О. обучающихся и номерами выданных им комплектов, записях о неиспользованных комплектах бланков, испорченных комплектах бланков и не использованных комплектах, на наличие подписи организатора в аудитории, эксперта и их расшифровки.

2.1.11. по окончании процедуры исследования, в тот же день, заполняет электронный протокол проведения исследования исключая Ф.И.О. участников исследования (форма электронного протокола будет доступна в ФИС ОКО (https://fis-oko.obrnadzor.gov.ru раздел "Обмен данными" или прямая ссылка https://lk-fisoko.obrnadzor.gov.ru/).

В форме заполняются контекстные данные об учителях, классах и ОО. В форму заранее вставлены идентификаторы участников процедур исследования. Рядом с каждым идентификатором участника (без Ф.И.О.) должны быть указаны:

- пол;

- отметка по предмету "Русский язык" за последнюю четверть (триместр) текущего учебного года;

- отметка по предмету "Математика" за последнюю четверть (триместр) текущего учебного года;

- отметка по предмету "Технология" за предыдущий учебный год;

- класс (номер и буква).

При заполнении протокола в нем автоматически формируется опись материалов, предназначенных для передачи в центр сканирования или региональному координатору. Опись необходимо распечатать и приложить к доставочным пакетам.

2.1.12. не позднее чем через сутки после завершения исследования сдаёт электронную версию протокола через ФИС ОКО (https://fis-oko.obrnadzor.gov.ru раздел "Обмен данными" или прямая ссылка https://lk-fisoko.obrnadzor.gov.ru/).

2.1.13. все материалы с электронной описью материалов, кроме бумажных протоколов проведения исследования по аудиториям ППИ и черновиков участников исследования, передаёт лично региональному координатору субъекта РФ согласно план-графику проведения НИКО по учебному предмету "Технология", либо посредством назначенного им ответственного за доставку сотрудником. В отдельных случаях, с учётом транспортных трудностей, по согласованию с региональным координатором ОИВ доставка материалов может быть перенесена на следующий день. До этого времени ответственный организатор ОО обеспечивает ответственное хранение материалов исследования

2.1.14. после завершения исследования скачивает в ФИС ОКО (https://fis-oko.obrnadzor.gov.ru раздел "Обмен данными" или прямая ссылка https://lk-fisoko.obrnadzor.gov.ru/) форму анкеты для организаторов процедур исследования в ОО, раздаёт скачанные анкеты организаторам проведения исследования на уровне ОО и учителям технологии, собирает заполненные анкеты и загружает полученный результат в ФИС ОКО (https://fis-oko.obrnadzor.gov.ru раздел "Обмен данными" или прямая ссылка https://lk-fisoko.obrnadzor.gov.ru/). Формы для анкетирования организаторов проведения исследования на уровне ОО будут доступны для скачивания согласно плану-графику проведения НИКО по учебному предмету "Технология". При проведении анкетирования исключаются персональные данные участников.

2.2. Организатор в аудитории:

2.2.1. не позднее чем за час до начала прибывает в ППИ, проходит инструктаж у ответственного организатора ППИ и получает список участников и инструкции организатора.

2.2.2. за 45 минут до начала исследования проверяет свою аудиторию.

Необходимо убедиться, что в аудитории обеспечены:

- рабочие места в соответствии с количеством участников;

- рабочие места для организатора в аудитории и для эксперта по оцениванию практических заданий;

- место для вещей участников исследования;

- чёрная гелевая ручка для каждого участника и не менее двух запасных у организатора;

- листы для черновика для каждого участника на его рабочем месте (для 5 и 8 классов);

- ножницы для вскрытия сейф-пакета;

- жёсткие папки-планшеты (по возможности) для закрепления протокола и его заполнении при перемещении по аудитории;

- стенах аудитории отсутствуют справочные материалы по учебному предмету "Технология".

2.2.3. за 15-20 минут до начала исследования в присутствии эксперта по оцениванию практических заданий получает у ответственного организатора ОО сейф-пакет с материалами исследования и убеждается, что он не вскрыт. Если сейф-пакет вскрыт, об этом необходимо срочно уведомить ответственного организатора ОО.

2.2.4. за 10 минут до начала впускает участников в аудиторию, контролирует выключение участниками мобильных телефонов и складывание ими своих вещей в специально отведённое место в аудитории. Сам выключает мобильный телефон.

2.2.5. не ранее, чем за 5 минут до начала исследования, после рассадки участников по аудиториям, в присутствии экспертов по оцениванию практических заданий и общественных наблюдателей (при наличии) вскрывает сейф-пакеты и раздаёт индивидуальные комплекты участникам исследования. С этого момента и до окончания процедуры исследования посторонние и опоздавшие в аудиторию не допускаются.

В каждом сейф-пакете содержатся материалы, рассчитанные на одну аудиторию:

- 16 индивидуальных конвертов (в том числе 1 запасной), каждый из которых содержит набор практических заданий, бланк формы ведения наблюдения и оценивания практических заданий и бланк анкеты участников;

- бланк протокола проведения;

- доставочный пакет.

2.2.6. по звонку на урок демонстрирует участникам, как надо вскрыть конверт, и инструктирует участников по выполнению практических заданий - зачитывает текст. На инструктаж, выдачу материалов исследования должно быть потрачено не более 5 минут. Для демонстрации процедуры вскрытия пакета и его содержания можно использовать запасной комплект участника. В случае необходимости этот запасной комплект можно выдать участнику взамен его испорченного. Все записи участники выполняют чёрными гелевыми ручками.

2.2.7. через 5 минут после начала процедуры исследования и во время его проведения обеспечивает участников дополнительными листами для черновика (при необходимости), фиксирует в бумажном протоколе соответствие Ф.И.О. участника и номер выданного индивидуального комплекта для выставления положительных отметок в журнал и дневники после получения результатов исследования.

В протоколе проведения фиксируются:

- напротив номеров неиспользованных комплектов в протоколе ставится отметка "не использован";

- напротив испорченных комплектов (если есть) - "испорчен";

- напротив вскрытых в демонстрационных целях, но не использованных - "демо".

В это же время делаются все необходимые записи на доставочном пакете (пункт проведения НИКО (логин ОО), наименование ОО, адрес, номер аудитории, код предмета "Технология" (ТЕ) и т.д.) (подробнее - в инструкции организатора в аудитории).

2.2.8. за 5 минут до окончания выполнения практических заданий предупреждает участников о том, что осталось 5 минут до окончания работы, и напоминает о необходимости переноса ответов из черновика в бланк с ответами на практические задания.

2.2.9. по окончании выполнения практических заданий собирает у каждого участника бланки с ответами на практические задания и упаковывает их в доставочный пакет. После выполнения практических заданий участники приступают к заполнению анкеты. Участники, закончившие заполнение анкеты раньше отведенного времени, покидают аудиторию и находятся в определенном администрацией ОО месте под наблюдением дежурных педагогов.

2.2.10. по окончании заполнения анкеты собирает заполненные анкеты и формы ведения наблюдения и оценивания выполнения практических заданий и упаковывает в доставочный пакет. Пустые индивидуальные конверты и черновики собираются отдельно и складываются на столе организатора.

2.2.11. по окончании процедуры исследования организатор и эксперт по оцениванию практических заданий совместно проверяют комплектацию доставочного пакета, правильность заполнения протокола проведения и полей на пакете.

Ответственному организатору ОО передаются следующие материалы:

- укомплектованный доставочный пакет с заполненной сопроводительной информацией;

- невскрытые индивидуальные комплекты участников;

- вскрытые, но не использованные комплекты;

- испорченные комплекты;

- пустые конверты от индивидуальных комплектов бланков и черновики участников, упакованные в сейф-пакеты, в которых были получены материалы;

- заполненные бумажные протоколы проведения, полученные вместе с материалами для проведения исследования, в которых установлено соответствие между ФИО обучающихся и номерами выданных им комплектов.

2.2.12.1 после проверки материалов ответственным организатором ППИ доставочный пакет запечатывается, организатор в аудитории покидает ППИ.

2.3. Эксперт по оцениванию практических заданий:

2.3.1. не позднее чем за сутки до проведения исследования эксперты по оцениванию практических заданий знакомятся с описанием заданий НИКО по технологии, а также изучают инструкцию эксперта. Получить инструкцию можно обратившись по электронной почте к региональному координатору, либо ответственному организатору ППИ.

2.3.2. не позднее чем за 20 минут до начала исследования прибывает в ППИ в соответствии с графиком проведения процедур исследования в данной ОО.

2.3.3. контролирует вскрытие сейф-пакетов с индивидуальными комплектами участников организатором в аудитории и процесс их раздачи по участникам.

2.3.4. после того, как участники исследования приступили к выполнению заданий, эксперт по оцениванию практических заданий подходит к каждому участнику исследования за рабочее место обучающегося и заполняет форму ведения наблюдения.

В форме необходимо указать

- время начала работы и время окончания работы. Рекомендуется заполнить, когда участники приступили к работе. Время записывается с учетом того, что на выполнение заданий отводится 45 минут (время инструктажа и время заполнения анкеты не учитывается). Распорядок во время проведения исследования: инструктаж, выдача материалов - 5 минут; выполнение практических заданий - 45 минут; анкетирование участников - 5 минут.

- пол участника;

- ставить метки, если участники задавали вопросы. Если участник исследования задавал вопросы во время выполнения практических заданий, то эксперту необходимо подойти к участнику исследования и поставить в форме ведения наблюдения и оценивания практических заданий метку Х в соответствующем месте, а также поставить метку Х в ячейках по типу вопросов (по содержанию заданий, по форме записи ответов и другое) и записать какие вопросы задавал участник.

2.3.5. после окончания выполнения практических заданий участниками, необходимо оценить отношение участника исследования к своим результатам выполнения практических заданий. Эксперту необходимо задать вопросы участнику о его отношении к своим результатам выполнения заданий, а затем поставить метку Х в соответствующем месте, где:

(1) - участник недоволен своими результатами, выполнил мало заданий;

(2) - участник оценивает свой результат как неплохой, но мог бы справиться лучше;

(3) - участник доволен, выполнил все, что мог/хотел сделать.

2.3.6. по окончании выполнения практических заданий, эксперт по оцениванию практических заданий записывает время окончания работы в формы ведения наблюдения и оценивания практических заданий всех участников исследования.

2.3.7. после заполнения всех пунктов формы ведения наблюдения и оценивания выполнения практических заданий ставит подпись, передает формы ведения наблюдения и оценивания выполнения практических заданий организатору в аудитории, ставит подпись на доставочном пакете, покидает ППИ после запечатывания ответственным организатором ОО материалов участников.

2.3.9. в сроки, установленные планом-графиком проведения НИКО для проведения анкетирования организаторов процедур НИКО по предмету "Технология" в 5 и 8 классах получает от ответственного организатора ОО анкету, заполняет и сдаёт обратно ответственному организатору ОО.

3. Порядок подведения итогов исследования.

По окончании процедур исследования региональный координатор и ОО имеют возможность просматривать и анализировать сводные статистические отчеты по проведению исследования в личном кабинете ФИС ОКО (раздел "Аналитика"). При необходимости можно экспортировать отчеты в формат MS Excel.