Приложение N 2. Регламент проведения опытной эксплуатации программного обеспечения "Автоматизированная система тестирования кадров и образовательный портал ФНС России

Приложение N 2

Регламент
проведения опытной эксплуатации программного обеспечения "Автоматизированная система тестирования кадров и образовательный портал ФНС России"
(утв. приказом Федеральной налоговой службы от 4 июля 2014 г. N ММВ-7-6/355@)

1. Общие положения

Регламент проведения опытной эксплуатации программного обеспечения "Автоматизированная система тестирования кадров и образовательный портал ФНС России" определяет процедуру проведения опытной эксплуатации (далее - ОЭ) программного обеспечения "Автоматизированная система тестирования кадров и образовательный портал ФНС России" (далее - ПО "Образовательный портал"), состав и функции участников процесса, порядок работы с ПО "Образовательный портал", а также требования к техническому обеспечению рабочих мест пользователей портала.

Целью разработки ПО "Образовательный портал" является формирование единого образовательного пространства Федеральной налоговой службы.

Единое образовательное пространство формируется с целью консолидации и координации деятельности участников в области обучения, подготовки, профессиональной переподготовки, повышения квалификации, тестирования работников налоговых органов ФНС России.

ПО "Образовательный портал" создано на основе программно-аппаратного комплекса "Система дистанционного обучения" ФНС России и размещено по адресу http://10.200.100.25/edu3.

Основные термины и определения

Нижеперечисленные термины расположены в систематизированном порядке, отражающем систему понятий, используемых в работе с автоматизированной системой тестирования кадров ФНС России.

Интранет - внутренняя корпоративная сеть, допускает использование публичных каналов связи, входящих в Интернет, но при этом обеспечивается защита передаваемых данных и меры по пресечению проникновения извне на корпоративные узлы.

Образовательный портал ФНС России - программный комплекс, обеспечивающий единый персонифицированный доступ пользователей к информационно-образовательным ресурсам единого образовательного пространства ФНС России.

Тестирование - совокупность методических, организационных и технологических мероприятий, обеспечивающих подготовку и проведение стандартизованной процедуры измерения уровня подготовленности тестируемых, а также обработку и анализ результатов.

Средства тестирования - совокупность методических, организационных и технических средств, обеспечивающих проведение тестирования (в данном случае - модуль тестирования ПО "Образовательный портал").

Тестируемый - лицо, проходящее тестирование, с целью оценки его уровня подготовленности в определенной области знаний при прохождении обучения, либо его участия в проведении оценочных кадровых мероприятиях.

Тестирующее лицо - наблюдатель, инструктор, непосредственно проводящий тестирование и обеспечивающий самостоятельную работу тестируемых в соответствии с инструкцией по проведению тестирования.

Сеанс тестирования - однократное выполнение теста (набора тестовых заданий) тестируемым с использованием автоматизированной системы тестирования.

Тестолог - специалист, занимающийся теоретическими и практическими вопросами возможностей оценки профессиональной служебной деятельности, умений, знаний, навыков тестируемых с помощью специально разработанных тестовых материалов и методов их интерпретации. Функция (функции) "Тестолог", назначаемая участникам ОЭ, описана в разделе 2.4.

Тест - совокупность тестовых заданий, позволяющая по результатам их выполнения объективно измерить уровень подготовленности тестируемых по конкретным разделам определенной области знания. Тест представляет собой конечную репрезентативную выборку из общего количества тестовых заданий.

Спецификация теста - запись, в которой содержится информация о целях, задачах, плане и структуре теста, а также указаны основные требования к правилам проведения тестирования, обработки результатов тестирования и их интерпретации.

План теста - таблица, в которой каждое тестовое задание соотносится с определенным элементом содержания предмета тестирования, конкретным видом знаний или умений, позволяющим объективно судить об уровне подготовленности тестируемых. Указывается планируемое время выполнения каждого тестового задания и всего теста в целом.

Предтест (предварительный тест, пилотный тест) - тест, априори соответствующий спецификации, но подлежащий апробации и, возможно, последующей коррекции. Предтест также используется для уточнения количественных оценок, статистической устойчивости и степени удовлетворения определённым критериям, нацеленным на проверку качества содержания, формы тестовых заданий и на выявление их системообразующих свойств.

Тестовое задание - задание специфической формы, элемент теста, минимальная законченная составляющая единица теста. Тестовое задание имеет установленные количественные оценки, которые статистически устойчивы и удовлетворяют определённым критериям, нацеленным на проверку качества содержания, формы заданий теста и на выявление их системообразующих свойств.

Предтестовое задание - это тестовое задание, количественные оценки и статистическая устойчивость которого требуют уточнения. Предтестовое задание становится тестовым после его неоднократной эмпирической проверки, корректировки и уточнения параметров.

Автор тестового задания - составитель конкретного тестового задания.

Автор теста - составитель конкретного теста (предтеста) в системе тестирования Образовательного портала ФНС России.

Формат тестового задания - совокупность групп полей, которые обеспечивают задание цели тестирования, сферу и область применения, состав участников и другие критерии, определяющие состояние тестового задания в банке тестовых материалов.

Паспорт тестового задания - само содержание тестового задания (совокупность конкретных значений) в формате тестового задания.

Алгоритм формирования теста - правило, определяющее формирование набора тестовых заданий, предназначенных для проведения сеансов тестирования и формирования тестов (предтестов).

Тестовые материалы - совокупность систематизированных тестовых и предтестовых заданий, стандартизованных тестов и предтестов.

Трудность тестового задания (уровень трудности) - основная количественная характеристика тестового задания, не зависящая от выборки тестируемых и отраженная на определенной шкале.

Дифференцирующая способность тестового задания - количественная характеристика способности тестового задания дифференцировать тестируемых по уровню их подготовленности.

2. Программное обеспечение "Образовательный портал"

2.1 Основное назначение

Основным назначением ПО "Образовательный портал" является обеспечение пользователям единого авторизованного персонифицированного доступа ко всем образовательным информационным ресурсам и приложениям ФНС России через единую точку доступа.

2.2 Виды работ

Основными видами работ, связанными с реализацией процесса обучения и тестирования с использованием ПО "Образовательный портал" являются:

- планирование и сопровождение образовательного процесса и его ресурсного обеспечения;

- обеспечение процессов тестирования работников ФНС России;

- организация информационно-методической поддержки образовательного процесса;

- организация взаимодействия между участниками образовательного процесса;

- мониторинг, фиксация хода и результатов образовательного процесса;

- размещение, учет и хранение учебно-методических материалов (планируемый объем учебно-методических материалов не превышает 2 Гб. При создании учебно-методических материалов используются форматы ppt, pptx, doc, docx, pdf, avi, mpeg, swf, html);

- контроль доступа участников образовательного процесса к информационным образовательным ресурсам ФНС России.

2.3 Модули ПО "Образовательный портал"

ПО "Образовательный портал" включает следующие модули:

- "Обучение и тестирование" (блок для участников учебного процесса, визуализация графика прохождения курса, выдача и выполнение учебных заданий, тестирование по результатам обучения и проведения оценочных кадровых мероприятий);

- "Документарная база знаний" (далее - ДБЗ) (база данных учебно-методической и справочно-аналитической информации, используемой в процессе обучения);

- "Вебинары" (блок, предоставляющий возможность проведения онлайн-встреч и презентаций через Интранет в режиме реального времени);

- "Статистика и аналитика" (блок, предоставляющий возможность создания отчетных форм и проведения статистического анализа обучения);

- "Система тестирования" (блок, предоставляющий возможность разработки тестовый заданий, формирования тестов и проведения статистического анализа тестирования);

- "Форум" (дистанционная коммуникация между пользователями ПО "Образовательный портал").

Взаимодействие между объектами автоматизации осуществляется посредством Web-сервисов по телекоммуникационным каналам связи.

Для работы с ПО "Образовательный портал" на персональном компьютере пользователя требуется наличие Интернет-обозревателя (браузера) и общесистемного программного обеспечения, указанного в разделе 5.

Схема взаимодействия пользователей Образовательного портала ФНС России представлена в приложении к настоящему документу.

2.4 Основные функции и роли пользователей ПО "Образовательный портал"

Пользователями ПО "Образовательный портал" являются работники налоговых органов, работники ФГУП ГНИВЦ ФНС России, сопровождающие работу ПО "Образовательный портал" (далее - сопровождающая организация), и работники Приволжского и Северо-Западного институтов повышения квалификации ФНС России (далее - институты).

Далее перечислены функции пользователей и соответствующие им роли ПО "Образовательный портал".

Администратор Образовательного портала (далее - Администратор) - работник сопровождающей организации, работает с ролью "Администратор".

Основные операции, выполняемые Администратором:

- регистрация программ обучения по курсам;

- регистрация учебных групп слушателей;

- назначение куратора учебной группы;

- назначение преподавателей на курс;

- предоставление прав доступа всем участникам учебного процесса;

- определение области видимости специалистам, ответственным за организацию и проведение обучения;

- актуализация справочников;

- загрузка новых анкет;

- размещение информации о наборе на курс;

- загрузка учебно-методических материалов в документарную базу знаний;

- создание виртуальных классов и модерация вебинаров;

- модерация форума;

- ведение новостной ленты;

- создание шаблонов отчетов по всем направлениям деятельности.

Ответственный за организацию и проведение обучения (далее - Регистратор) - работник налогового органа (в управлениях по субъектам Российской Федерации и межрегиональных инспекциях ФНС России)- работает с ролью "Регистратор" и совместно с Куратором участвует в формировании новых учебных групп.

Основные операции, выполняемые Регистратором:

- формирование группы с учетом критериев (план, стаж, уровень квалификации, направление деятельности);

- актуализация анкетных данных слушателя. При необходимости перенос сведений о слушателях из архива в текущую базу данных;

- заполнение сведений о новых слушателях при формировании групп, в том числе при замене слушателя;

- информирование слушателей о порядке прохождения обучения, в том числе о наименовании курса, о времени начала обучения;

- формирование и предоставление ведомости замены слушателя;

- мониторинг процесса обучения, контроль посещаемости и успеваемости;

- организация тестирования;

- формирование отчетов о состоянии обучения текущих групп, сводных отчетов по обучению слушателей курса за прошедший период.

Куратор учебной группы (далее - Куратор) - работник сопровождающей организации, работник института, работает с ролью "Куратор".

Основные операции, выполняемые Куратором:

- назначение преподавателей в группы;

- взаимодействие с Регистраторами в управлениях по субъектам Российской Федерации и межрегиональных инспекциях ФНС России по вопросам организации учебного процесса;

- формирование групп;

- замена слушателей, актуализация анкетных данных слушателя в курируемой группе по представлению Регистратора;

- информирование слушателей о регламенте обучения;

- мониторинг процесса обучения, контроль посещаемости, уведомление слушателей, регистраторов и преподавателей о нарушениях графика обучения;

- организация аттестации слушателей совместно с преподавателем;

- добавление анкет в группы и организация проведения анкетирования.

В рамках ОЭ данная функция осуществляется Администратором.

Преподаватель - работники сопровождающей организации, работники институтов, работают с ролью "Преподаватель".

Основные операции, выполняемые Преподавателем:

- подготовка и предоставление Редактору курсов комплекта учебных и учебно-тематических планов (программ обучения) по курсу;

- формирование учебно-методических материалов и тестов в Документарной базе знаний;

- разработка тестовых заданий, формирование и выгрузка тестов;

- консультирование слушателей;

- проведение лекционных занятий;

- проведение вебинаров;

- мониторинг учебного процесса в группах;

- итоговая оценка знаний слушателей, принятие решения об аттестации.

Редактор курсов - работник сопровождающей организации, работник института, работает с ролью "Редактор курсов".

Основные операции, выполняемые Редактором курса:

- формирование подборки учебных, учебно-тематических планов (программ обучения) и учебно-методических материалов по курсу;

- формирование рекомендаций преподавателям по уточнению и актуализации учебных и учебно-тематических планов (программ обучения) по курсам;

- согласование с преподавателем содержания учебных и учебно-тематических планов (программ обучения) по курсам;

- подготовка и предоставление Администратору учебных, учебно-тематических планов (программ обучения) и учебно-методических материалов для размещения в ДБЗ.

В рамках ОЭ данная функция осуществляется Администратором.

Слушатель - работники налоговых органов, проходящие обучение и работники институтов - работают с ролью "Слушатель".

Основные операции, выполняемые слушателем:

- получение от Регистратора направления на обучение;

- участие в вебинарах;

- изучение учебных материалов, выполнение практических и лабораторных работ, в том числе на учебных стендах, прохождение тестовых испытаний в соответствии с графиком обучения;

- заполнение анкеты о качестве обучения;

- прохождение тестирования с целью оценки уровня подготовленности в определенной области знаний при прохождении обучения.

Участник кадрового тестирования - работники налоговых органов и граждане, принимающие участие в кадровых оценочных мероприятиях в качестве оцениваемых - работают с ролью "Слушатель" (на этапе ОЭ):

Основные операции, выполняемые участником кадрового тестирования:

- получение от Регистратора направления на прохождение тестирования;

- прохождение тестирования в ходе проведения кадровых оценочных мероприятий.

Тестолог - работники налоговых органов, работники сопровождающей организации, работники институтов, использующие автоматизированную систему тестирования кадров ФНС России, работают с ролью "Преподаватель".

На этапе ОЭ ПО "Образовательный портал" тестологи назначаются:

- в территориальных налоговых органах всех уровней из числа работников кадровых подразделений для формирования тестовых материалов по направлению кадровой деятельности и ввода их в Систему тестирования (тестологи-специалисты);

- в институтах и сопровождающей организации из числа преподавателей, ведущих обучение по данному направлению (тестологи-преподаватели и тестологи-организаторы).

Тестолог-специалист - формирует тестовые задания по направлению своей деятельности с применением методических материалов по тестированию и вводит их в систему тестирования. В процессе формирования тестовых заданий тестолог-специалист обеспечивает ввод первичных значений, характеризующих область применения задания и другие необходимые параметры, работает с ролью "Преподаватель".

Основные операции, выполняемые тестологом-специалистом:

- разработка и настройка тестовых заданий в соответствии с методическими материалами по тестированию;

- первичное определение областей и сферы применения тестовых заданий;

- составление паспорта тестовых заданий;

- ввод тестовых заданий в Систему тестирования с обязательным заполнением паспорта тестовых заданий.

Тестолог-преподаватель - проводит анализ тестовых материалов, формирует предтесты и тесты, а также спецификацию теста и план теста, работает с ролью "Преподаватель".

Основные операции, выполняемые Тестологом-преподавателем:

- формирование тестов (предтестов) из тестовых заданий, находящихся в Системе тестирования;

- построение плана, спецификации теста;

- определение областей и сфер использования тестовых заданий и тестов;

- проведение анализа и обработка статистики результатов тестирования;

- корректировка шаблонов инструкций к тестовым заданиям и тестам;

- корректировка, первичных значений тестового задания и тестов, характеризующих область применения и другие параметры, такие как уровень трудности задания и дифференцирующая способность (настройка тестовых заданий и тестов);

- при необходимости, осуществление всех операций, выполняемых тестологом-специалистом.

Тестолог-организатор - ответственный за организацию проведения тестирования. Организует проведение мероприятий тестирования (сеансов тестирования), осуществляет интерпретацию результатов тестирования.

Во всех случаях проведения тестирования (обучающего/кадрового) тестолог-организатор обеспечивает наблюдение, инструктаж и является тестирующим лицом.

Организация проведения сеансов тестирования проводится как со стороны сопровождающей организации, так и со стороны территориальных налоговых органов, а также организаций, находящихся в ведении ФНС России, где проводится тестирование.

Основные операции, выполняемые Тестологом-организатором:

- запуск сеанса тестирования и контроль его завершения;

- сохранение и интерпретация результатов тестирования (результаты для тестирования);

- организация контроля за процедурой прохождения тестирования;

- другие операции, проводимые тестирующими лицами, связанные с организационными мероприятиями в области тестирования.

В рамках ОЭ данная функция осуществляется Ответственным за проведение ОЭ.

Функции тестолога-специалиста и тестолога-преподавателя при необходимости могут быть совмещены в ходе ОЭ.

Участниками процесса тестирования являются:

- обучающиеся, участники кадрового тестирования (тестируемые);

- тестологи-организаторы;

- администратор Образовательного портала.

3. Автоматизированная система тестирования кадров ФНС России

3.1 Основное назначение

Основным назначением автоматизированной системы тестирования кадров ФНС России (далее - Система тестирования) является объективная оценка знаний, навыков и умений, выявление профессиональных качеств.

Систему тестирования предполагается применять при проведении обучения - (далее - Обучающее тестирование) и при проведении кадровых оценочных мероприятий (далее - Кадровое тестирование).

Обучающее тестирование осуществляется при:

- обучении (подготовке персонала) в ФНС России;

- проведении повышения квалификации и профессиональной переподготовки федеральных государственных гражданских служащих ФНС России.

Кадровое тестирование осуществляется при проведении:

- конкурса на замещение вакантных должностей ФНС России;

- квалификационного экзамена на классный чин;

- аттестации;

- иных кадровых оценочных мероприятий в соответствии с действующим законодательством Российской Федерации о государственной гражданской службе.

В Системе тестирования учитывается:

- целевой аспект тестирования (в целях проверки соответствия определенным требованиям, либо в целях оценки и построения рейтинга знаний тестируемого);

- область применения тестовых материалов (направления деятельности и предметная область применения);

- состав участников тестирования (с учетом должности, звания, направления работы отдела).

3.2 Виды работ

Основными видами работ, связанными с реализацией процесса тестирования, являются:

- создание предтестовых и тестовых заданий;

- учет и хранение предтестовых и тестовых заданий;

- редактирование предтестовых и тестовых заданий;

- эмпирическая проверка предтестовых заданий;

- создание предтеста и теста;

- апробация предтеста;

- проведение сеанса тестирования;

- анализ результатов, полученных в ходе тестирования.

Взаимодействие между объектами автоматизации осуществляется посредством Web-сервисов по телекоммуникационным каналам связи.

Система тестирования выполняет административные и пользовательские функции и имеет соответствующие пользовательские интерфейсы.

3.3 Компоненты Системы тестирования

Система тестирования включает в себя следующие компоненты (Рис. 1):

- банк тестовых материалов;

- онлайн конструктор тестов;

- модуль тестирования;

- модуль аналитики и статистики;

- модуль алгоритмов формирования тестов.

4. Порядок проведения опытной эксплуатации

ОЭ ПО "Образовательный портал" проводится в соответствии с Планом мероприятий проведения опытной эксплуатации программного обеспечения "Автоматизированная система тестирования кадров и образовательный портал ФНС России" (приложение к настоящему приказу) (далее - План мероприятий).

В соответствии с Планом мероприятий ответственные за организацию и проведение ОЭ, тестирования, а также тестологи назначаются приказами в территориальных налоговых органах всех уровней и организациях, находящихся в ведении ФНС России.

Методическое обеспечение ОЭ размещается в Фонде алгоритмов и программ ФНС России в соответствии с Планом мероприятий и включает в себя:

- пакет пользовательской документации (Руководства пользователя);

- пакет сценариев;

- методические материалы по тестированию.

4.1 Пакет пользовательской документации состоит из следующих документов:

- общее описание ПО "Образовательный портал";

- описание системы тестирования (Конструктор тестов);

- руководство пользователя (Регистратора) ПО "Образовательный портал";

- руководство пользователя (Слушателя) ПО "Образовательный портал".

4.2 Пакет сценариев - документы, описывающие этапы тестирования ПО "Образовательный портал"

Пакет сценариев включает в себя набор типовых сценариев, позволяющих протестировать модули ПО "Образовательный портал", имитирующих проведение цикла работ участниками ОЭ в ПО "Образовательный портал".

В ходе ОЭ участники выполняют предложенные сценарии. По окончании прохождения сценария участниками ОЭ, в соответствии с Планом мероприятий, представляются отчеты, а также замечания и предложения по совершенствованию программного обеспечения.

Перечень сценариев:

- сценарий "Образовательный портал. Регистратор";

- сценарий "Образовательный портал. Тестолог-специалист";

- сценарий "Образовательный портал. Тестолог-преподаватель";

- сценарий "Образовательный портал. Слушатель";

- сценарий "Образовательный портал. Тестолог-организатор".

4.3 Методические материалы по тестированию

Методические материалы по тестированию включают в себя:

- термины и определения по вопросам тестирования;

- краткое описание методики составления тестовых (предтестовых) заданий и тестов (предтестов).

5. Требования к техническому обеспечению рабочих станций

Минимальные технические требования к рабочим станциям:

- процессор 2.0 Ghz и выше;

- оперативная память 512 Mb и более;

- канал связи 128 кбит/с (для 1 пользователя).

Необходимое программное обеспечение рабочих станций:

- Microsoft Windows XP SP 3 - Microsoft Windows 8;

- браузер интернет Google Chrome версии 28 и выше, Internet Explorer версии 8 и выше, Mozilla Firefox версии 23 и выше, Opera версии 15 и выше;

- Microsoft Silverlight 4+;

- Java RE версии 7 (Version 7 Update 25) и выше (для работы с курсами).

ПО "Образовательный портал" развернут на имеющемся в ЦА ФНС России оборудовании ПАК СДО. Дополнительных требований к аппаратному обеспечению серверного оборудования ПАК СДО и рабочим местам пользователей, имеющимся в налоговых органах, не предъявляется.

ПО "Образовательный портал" учитывает программное обеспечение, а также инженерную инфраструктуру и ИТ-инфраструктуру, имеющуюся в налоговых органах.

6. Информационная поддержка

В соответствии с Планом мероприятий для оперативного решения организационных и технических вопросов проведения опытной эксплуатации программного обеспечения "Автоматизированная система тестирования кадров и образовательный портал ФНС России" (приложение N 1 к настоящему приказу) организуется "горячая линия" с режимом работы: понедельник - четверг с 9:00 до 18:00 часов, пятница с 9:00 до 16:45 часов.

- по вопросам проведения ОЭ:

(495) 913-00-07 (доб.33-94, 32-10, 40-04);

IP - (99) 33-94, (99) 32-10, (99) 40-04;

- по вопросам технического сопровождения:

(495) 913-00-00 (доб. 33-84); IP - (99) 33-84;

- по электронной почте: edu.oportalfns@gnivc.ru;

- с помощью подсистемы сообщений ПО "Образовательный портал".