Приказ Федерального агентства воздушного транспорта от 26 апреля 2018 г. N 353-П "Об утверждении Методических рекомендаций о тестировании членов летных экипажей воздушных судов гражданской авиации Российской Федерации на определение уровня владения авиационным английским языком по шкале ИКАО"

В соответствии с подпунктами 5.4.2 и 9.9 Положения о Федеральном агентстве воздушного транспорта, утвержденного постановлением Правительства Российской Федерации от 30.07.2004 N 396, пунктом 8 Федеральных авиационных правил "Требования, предъявляемые к оформлению и форме свидетельств авиационного персонала гражданской авиации", утвержденных приказом Министерства транспорта Российской Федерации от 10.02.2014 N 32, и в целях повышения качества проведения тестирования членов летных экипажей (пилотов, штурманов и бортрадистов), кандидатов на получение свидетельств специалистов авиационного персонала (членов летных экипажей) для определения уровня владения английским языком по шкале ИКАО приказываю:

1. Утвердить прилагаемые Методические рекомендации о тестировании членов летных экипажей воздушных судов гражданской авиации Российской Федерации на определение уровня владения авиационным английским языком по шкале ИКАО.

2. Управлению летной эксплуатации Росавиации довести настоящий приказ до сведения межрегиональных территориальных управлений воздушного транспорта Федерального агентства воздушного транспорта, авиационных учебных центров и эксплуатантов.

3. Контроль за исполнением настоящего приказа возложить на заместителя руководителя Росавиации О.Г. Сторчевого.

Руководитель

А.В. Нерадько

Утверждены
приказом Росавиации
от 26.04.2018 г. N 353-П

Методические рекомендации
о тестировании членов летных экипажей воздушных судов гражданской авиации Российской Федерации на определение уровня владения авиационным английским языком по шкале ИКАО

Термины и определения

Администрирование теста	Управление процессом тестирования и его организация
Администратор	Сотрудник авиационного учебного центра, осуществляющий административное обеспечение процедуры тестирования
Валидность теста	Степень пригодности теста, в которой результаты теста позволяют делать обоснованные заключения относительно уровня владения языком, исходя из цели теста
Вариант теста	Разновидность теста, одна из его возможных комбинаций
Дескриптор	Краткая характеристика, сопровождающая определенный интервал (уровень) шкалы оценки, в которой определяется степень владения языком или тип показателей, которые должен продемонстрировать тестируемый чтобы получить данную конкретную оценку. Интервал шкалы может содержать несколько дескрипторов
Дискретное задание	Тестовое задание, которое не связано с каким-либо другим заданием того же теста
Конструкт теста	Предполагаемые способности, речевые умения и навыки, которые невозможно непосредственно наблюдать или измерять
Критерии оценки	Показатели речевого поведения, по которым оценивается уровень владения языком
Надежность теста	Последовательность или стабильность результатов тестирования
Общий английский язык	Спонтанное, творческое и незакодированное использование английского языка
Оценивание	Процесс обоснования и выставления оценок за продемонстрированные тестируемым умения и компетенции
Рейтер-экзаменатор	Преподаватель авиационного английского языка, выполняющий дополнительную трудовую функцию по проведению тестирования и оценки уровня владения общим и авиационным английским языком по шкале ИКАО, продемонстрированного тестируемым в ходе экзамена, квалификация и подготовка которого соответствуют рекомендациям Dос ICAO 9835
Тест	Система заданий стандартной формы, выполнение которых проходит в равных для всех тестируемых условиях, поддается оценке, позволяет установить уровень сформированности умений и компетенций тестируемого
Тестирование	Использование и проведение теста
Тестируемые	Члены летных экипажей (пилоты, штурманы и бортрадисты), а также кандидаты на получение свидетельств специалистов авиационного персонала (членов летных экипажей), проходящие тестирование на определение уровня владения общим и авиационным английским языком по шкале ИКАО
Тестирующая организация	Авиационный учебный центр, осуществляющий тестирование с целью определения уровня владения общим и авиационным английским языком по шкале ИКАО
Тестирующая система	Совокупность мер, связанных с проведением конкретного теста, включая тестирующие материалы, а также организацию процессов поддержания теста на уровне установленных требований, материально-технического обеспечения процедуры оценивания тестируемых
Тестовое задание	Элемент теста, минимальная составляющая единица теста, создающая определенную ситуацию для тестируемого, позволяющая оценить уровень компетенции последнего
Шкала ИКАО	Шкала оценки уровня владения языком, содержащаяся в Добавлении А Приложения 1 к Конвенции о международной гражданской авиации
Шкала оценки	Измерительная шкала, состоящая из нескольких дискретных интервалов (уровней), используемая для оценки демонстрируемых навыков. Для каждого уровня существуют дескрипторы умений, облегчающие задачу рейтера-экзаменатора по определению уровня владения языком

I. Цели и задачи Положения

1.1. Настоящие Методические рекомендации о тесторовании членов летных экипажей воздушных судов гражданской авиации Российской Федерации на определение уровня владения авиационным английским языком по шкале ИКАО (далее - Методические рекомендации) разработаны с целью повышения качества проведения тестирования членов летных экипажей (пилотов, штурманов и бортрадистов), кандидатов на получение свидетельств специалистов авиационного персонала (членов летных экипажей) (далее - тестируемые) для определения уровня владения английским языком по шкале ИКАО. Методические рекомендации разработаны с учетом требований:

Воздушного кодекса Российской Федерации от 19.03.1997 N 60-ФЗ;

Федерального закона от 29.12.2012 N 273-ФЗ "Об образовании в Российской Федерации";

приказа Министерства транспорта Российской Федерации от 29.09.2015 N 289 "Об утверждении Федеральных авиационных правил "Требования к образовательным организациям и организациям, осуществляющим обучение специалистов соответствующего уровня согласно перечням специалистов авиационного персонала. Форма и порядок выдачи документа, подтверждающего соответствие образовательных организаций и организаций, осуществляющих обучение специалистов соответствующего уровня согласно перечням специалистов авиационного персонала, требованиям федеральных авиационных правил" (далее - ФАП-289);

приказа Министерства транспорта Российской Федерации от 31.07.2009 N 128 "Об утверждении Федеральных авиационных правил "Подготовка и выполнение полетов в гражданской авиации Российской Федерации";

приказа Министерства транспорта Российской Федерации от 12.09.2008 N 147 "Об утверждении Федеральных авиационных правил "Требования к членам экипажа воздушных судов, специалистам по техническому обслуживанию воздушных судов и сотрудникам по обеспечению полетов (полетным диспетчерам) гражданской авиации";

приказа Министерства транспорта Российской Федерации от 26.09.2012 N 362 "Об утверждении Федеральных авиационных правил "Порядок осуществления радиосвязи в воздушном пространстве Российской Федерации";

приказа Министерства образования и науки Российской Федерации от 01.07.2013 N 499 "Об утверждении порядка организации и осуществления образовательной деятельности по дополнительным профессиональным программам";

стандартов и рекомендуемой практики, правил аэронавигационного обслуживания и технических руководств ИКАО, изложенных в Приложениях 1, 10 к Конвенции о международной гражданской авиации, Doc ICAO 4444 "Организация воздушного движения" (издание 16, 2016 г.), Doc ICAO 9835 "Руководство по внедрению требований ИКАО к владению языком", Сir 318 AN/180 "Критерии языкового тестирования для глобального согласования".

1.2. Методические рекомендации являются документом, содержащим рекомендации для образовательных организаций и организаций, осуществляющих обучение специалистов соответствующего уровня согласно перечням специалистов авиационного персонала (далее - АУЦ), осуществляющих тестирование авиационного персонала в соответствии со Шкалой оценки языковых знаний ИКАО.

1.3. Методические рекомендации разработаны Рабочей группой по разработке предложений по совершенствованию языковой подготовки членов летных экипажей воздушных судов гражданской авиации, утвержденной приказом Федерального агентства воздушного транспорта от 29.12.2017 N 1093-П (далее - Рабочая группа), и одобрены протоколом заседания от 19.04.2018 N 03.

II. Цели и задачи тестирования

2.1. Тестирование членов летных экипажей (пилотов, штурманов и бортрадистов), кандидатов на получение свидетельств специалистов авиационного персонала (членов летных экипажей) предназначено для определения уровня владения английским языком по шкале ИКАО. Тест позволяет оценить способности тестируемых понимать, говорить и поддерживать беседу в штатных и аварийных ситуациях с использованием авиационного и общего английского языка.

2.2. Целью тестирования является оценивание текущего уровня владения английским языком тестируемых в соответствии со шкалой ИКАО и рекомендациями, содержащимися в Doc ICAO 9835 "Руководство по внедрению требований ИКАО к владению языком" (далее - Dос ICAO 9835).

2.3. Тестирование проводится с использованием тестирующих систем, соответствующих критериям тестирования на владение авиационным языком, изложенным в главе 6 раздела 3 Doc ICAO 9835.

III. Рекомендации по созданию теста

3.1. Структура теста и содержание тестовых заданий ориентированы на стандарты и рекомендуемые практики ИКАО в отношении владения языком, используемым для радиотелефонной связи, зафиксированные в Приложении 1 "Выдача свидетельств авиационному персоналу" к Чикагской Конвенции с учетом актуальной для кандидата профессиональной сферы общения, с характерными для нее темами, ситуациями и задачами общения, приведенными в Главе 3 Dос ICAO 9835.

3.2. Предлагается предусмотреть, чтобы тест, используемый для определения уровня владения тестируемыми английским языком по шкале ИКАО, учитывал следующее*:

3.2.1. тест разработан с целью оценки владения навыками говорения и аудирования в соответствии с каждым элементом шкалы ИКАО и холистическими критериями, зафиксированными в Приложении 1 к Конвенции о международной гражданской авиации (6.3.2.1);

3.2.2. тест разработан с целью определения уровня владения общим и авиационным английским языком по шкале ИКАО (6.3.2.2);

3.2.3. тест разработан в соответствии с принципами практики и принципами кодекса этики, описание которых приводится в Главе 6 Doс ICAO 9835;

3.2.4. тест не делает акцент на дискретных заданиях, нацеленных на проверку знания отдельных грамматических конструкций или лексических единиц (6.3.2.5);

3.2.5. если тест оценивает навыки понимания посредством специальных аудиозаданий, такая оценка не проводится в ущерб оценке навыков взаимодействия (6.3.2.6);

3.2.6. тест включает задания, предусматривающие исключительно речевое взаимодействие (6.3.2.7);

3.2.7. содержание теста отражает специфику авиационной деятельности (6.3.2.8);

3.2.8. тест не ставит своей целью оценку навыков владения фразеологией радиообмена, при этом допускается включение в тест заданий, в которых фразеология радиообмена используется в побудительных вопросах (6.3.2.9);

3.2.9. тест не ставит своей целью оценку знания технических аспектов авиационной деятельности (6.3.2.10).

IV. Рекомендации к тестирующей системе

4.1. Рекомендуется, чтобы тестовые задания разрабатывались таким образом, чтобы дать возможность рейтеру-экзаменатору оценить все элементы шкалы ИКАО, а именно: произношение, грамматические структуры, словарный запас, беглость речи, понимание, взаимодействие.

4.2. Предлагается, чтобы тестирующая система:

4.2.1. обеспечивала вариативность тестовых заданий (6.3.5.9) для возможности правильного оценивания 6 аспектов речевой деятельности тестируемого;

4.2.2. включала функцию записи теста и сохранения теста в аудио- или видеоформате;

4.2.3. обеспечивала конфиденциальность тестовых материалов.

V. Рекомендации к разработчику тестирующей системы

5.1. Рекомендуется, чтобы разработчик тестирующей системы выполнил комплекс мер, направленных на обеспечение защиты теста. Тестовые материалы не публикуются и не предоставляются тестируемым до начала проведения тестирования (6.3.5.8).

5.2. Разработчику тестирующей системы предлагается иметь в наличии:

5.2.1. описание формата теста;

5.2.2. описание этапов разработки;

5.2.3. руководство пользователя, включающее: инструкции для рейтеров-экзаменаторов, для администратора тестирующей системы, для тестируемых (6.3.5.3);

5.2.4. описание требований к помещениям и оборудованию, необходимых для проведения тестирования (6.3.5.4, 6.3.5.5);

5.2.5. порядок организации проведения тестирования, в том числе порядок повторной сдачи теста в случае возникновения обстоятельств, препятствующих соблюдению процедуры тестирования;

5.2.6. порядок ведения документации, планы по обеспечению контроля качества, по поддержанию теста в актуальном состоянии и по его постоянному совершенствованию;

5.2.7. порядок подачи и рассмотрения апелляций (6.3.5.7);

5.2.8. образец Протокола о результате тестирования на определение уровня владения английским языком по шкале ИКАО, содержащий следующие сведения:

а) наименование теста;

б) номер протокола;

в) наименование авиационного учебного центра, в котором пройдено тестирование, номер сертификата АУЦ и дата его выдачи;

г) фамилия, имя, отчество (при наличии) и дата рождения тестируемого;

д) итоговая оценка уровня владения английским языком по шкале ИКАО;

е) дата проведения тестирования, фамилия, имя, отчество (при наличии) и подпись руководителя авиационного учебного центра или лица, им уполномоченного.

5.3. Разработчику тестирующей системы предлагается предусмотреть наличие демонстрационного варианта, описания формата теста и инструкций для тестируемого, открытых для всеобщего доступа в сети Интернет (6.3.5.1).

5.4. Разработчику тестирующей системы рекомендуется обновлять тестовые материалы на регулярной основе, о чем информировать Управление летной эксплуатации Росавиации.

VI. Рекомендации к тестирующей организации

6.1. Для проведения процедуры тестирования тестирующей организации рекомендуется иметь:

6.1.1. оборудованные помещения, удовлетворяющие требованиям согласно подпункту 5.2.4 настоящих Методических рекомендаций;

6.1.2. на законных основаниях тестирующую систему, соответствующую критериям Doc ICAO 9835;

6.1.3. достаточное количество рейтеров-экзаменаторов (не менее трех).

6.2. Тестирующей организации предлагается проводить тестирование в соответствии с Положением о порядке тестирования членов летных экипажей воздушных судов гражданской авиации Российской Федерации на определение уровня владения авиационным английским языком по шкале ИКАО, разработанным авиационным учебным центром и включенным в руководство по организации деятельности АУЦ.

6.3. Тестирующей организации рекомендуется предусмотреть учет и хранение следующих документов:

6.3.1 аудио- или видеозапись проведенного экзамена;

6.3.2. документы, фиксирующие процесс оценивания (оценочные листы) (6.3.6.1, 6.3.6.2).

6.4. С учетом подпункта 6.3. настоящих Методических рекомендаций тестирующей организации предлагается хранить аудио- или видеозапись проведенного экзамена и оценочные листы в течение всего срока действия результатов тестирования (для 4 уровня - в течение трех лет; для 5 уровня - в течение шести лет; для 6 уровня - бессрочно) (6.3.6.1, 6.3.6.2).

6.5. По результатам тестирования (для 4 уровня и выше) тестирующей организации рекомендуется оформлять Протокол согласно подпункту 5.2.8. настоящих Методических рекомендаций.

6.6. Протокол (для 4 уровня и выше) предлагается оформлять в трех экземплярах:

6.6.1. первый экземпляр Протокола хранится в авиационном учебном центре в течение всего срока действия результатов тестирования (для 4 уровня - в течение трех лет; для 5 уровня - в течение шести лет; для 6 уровня - бессрочно);

6.6.2. второй и третий экземпляры Протокола выдаются лично тестируемому, либо его уполномоченному представителю.

При этом, тестирующей организации учитывать, что выдаваемый Протокол регистрируется в журнале учета выдачи документов, оформленном в соответствии с установленными ФАП-289 требованиями. Копия Протокола, выданного тестирующей организацией, направляется в Управление летной эксплуатации Росавиации в соответствии с установленными ФАП-289 требованиями.

6.7. Тестирующей организации рекомендуется проинформировать Управление летной эксплуатации Росавиации в случае прекращения деятельности работника в качестве рейтера-экзаменатора.

VII. Рекомендации к квалификации рейтеров-экзаменаторов

7.1. В соответствии с главой 6 Doс ICAО 9835 рекомендуется, чтобы рейтер-экзаменатор имел:

7.1.1. диплом о высшем образовании по направлениям подготовки Лингвистика/Языкознание/Филология/Педагогика со специализацией английский язык;

7.1.2. документ о прохождении программы подготовки в качестве рейтера-экзаменатора в авиационном учебном центре, имеющем сертификат АУЦ, в объеме не менее 40 часов;

7.1.3. документы, подтверждающие прохождение рейтером-экзаменатором повышения квалификации в объеме не менее 24 часов, не реже одного раза в 12 месяцев в авиационном учебном центре, имеющем сертификат АУЦ (6.3.8.13);

7.1.4. опыт преподавания авиационного английского языка в авиационном учебном центре не менее трех лет;

7.1.5. трудовые отношения с тестирующей организацией, представившей кандидатуру для включения в Список рейтеров-экзаменаторов, рекомендуемых для проведения тестирования специалистов авиационного персонала гражданской авиации с целью определения уровня владения общим и авиационным английским языком по шкале ИКАО (далее - Список рейтеров-экзаменаторов).

7.2. Рейтеры-экзаменаторы владеют общим и авиационным английским языком на уровне, который соответствует как минимум уровню 5 по шкале ИКАО. Если тест предназначен для оценки уровня владения языком на уровне 6 по шкале ИКАО, рейтеры-экзаменаторы владеют общим и авиационным английским языком на уровне, который соответствует уровню 6 по шкале ИКАО (6.3.8.10). Соответствие уровню 5 или 6 по шкале ИКАО подтверждается наличием записи в документе о прохождении программы подготовки в качестве рейтера-экзаменатора или программы повышения квалификации рейтеров-экзаменаторов.

7.3. В целях информирования организаций гражданской авиации Управление летной эксплуатации Росавиации размещает на официальном сайте Росавиации в сети "Интернет" список рейтеров-экзаменаторов, рекомендуемых для проведения тестирования специалистов авиационного персонала гражданской авиации с целью определения уровня владения общим и авиационным английским языком по шкале ИКАО.

7.4. Для формирования списка рейтеров-экзаменаторов тестирующей организации рекомендуется направить в Управление летной эксплуатации Росавиации следующие документы:

7.4.1. заявление о включении кандидата в список рейтеров-экзаменаторов, подписанное руководителем тестирующей организации;

7.4.2. заверенную руководителем тестирующей организации копию диплома о высшем образовании;

7.4.3. заверенную руководителем тестирующей организации копию документа о прохождении программы подготовки в качестве рейтера-экзаменатора в авиационном учебном центре, имеющем сертификат АУЦ, в объеме не менее 40 часов;

7.4.4. заверенные руководителем тестирующей организации копии документов, подтверждающие прохождение рейтером-экзаменатором повышения квалификации в объеме не менее 24 часов, не реже одного раза в 12 месяцев в авиационном учебном центре, имеющем сертификат АУЦ;

7.4.5. справку об опыте работы кандидата в качестве преподавателя авиационного английского языка, подписанную руководителем тестирующей организации;

7.4.6. согласие кандидата на обработку персональных данных.

7.5. По результатам анализа представленных тестирующей организацией документов Управление летной эксплуатации Росавиации включает кандидатуру в список рейтеров-экзаменаторов.

7.6. В случаях: наличия в представленных тестирующей организацией документах недостоверной информации; несоответствия кандидата/рейтера-экзаменатора рекомендациям главы 6 Doc ICAO 9835; поступления заявления тестирующей организации об исключении рейтера-экзаменатора из списка рейтеров-экзаменаторов, Управление летной эксплуатации Росавиации не вносит кандидата в список рейтеров-экзаменаторов или исключает рейтера-экзаменатора из списка рейтеров-экзаменаторов, о чем информирует тестирующую организацию.

VIII. Рекомендации по процедуре проведения тестирования

8.1. Рекомендуется, чтобы тестирование с целью определения уровня владения общим и авиационным английским языком по шкале ИКАО проводили рейтеры-экзаменаторы, включенные в список рейтеров-экзаменаторов.

8.2. Тестирующей организации предлагается предусмотреть, чтобы процедура оценки языковой компетенции тестируемых отвечала следующим положениям:

8.2.1. процесс оценивания документируется, вне зависимости от того, проводится оценивание непосредственно во время теста или впоследствии на основании аудиозаписи (6.3.4.1);

8.2.2. оценка речевых навыков проводится как минимум двумя рейтерами. В случае расхождения в итоговых оценках, выставленных двумя рейтерами, назначается оценивание третьим рейтером (6.3.4.2);

8.2.3. итоговая оценка уровня владения языком выставляется по наименьшему из шести оцениваемых элементов шкалы ИКАО (6.3.2.11).

IX. Рекомендации по включению тестирующей системы в Перечень тестирующих систем, рекомендуемых к использованию на территории Российской Федерации

9.1. В целях информирования организаций гражданской авиации, авиационных учебных центров Управление летной эксплуатации Росавиации размещает на официальном сайте Росавиации в сети "Интернет" Перечень тестирующих систем, рекомендуемых к использованию на территории Российской Федерации с целью определения уровня владения специалистами авиационного персонала гражданской авиации общим и авиационным английским языком по шкале ИКАО (далее - Перечень).

9.2. Для формирования Перечня разработчику тестирующей системы рекомендуется направить в Управление летной эксплуатации Росавиации следующие документы:

а) заявление о включении тестирующей системы в Перечень;

б) копию руководства пользователя, включающую инструкции для рейтеров-экзаменаторов, тестируемых и администраторов тестирующей системы;

в) описание целей, задач и этапов разработки;

г) описание формата теста;

д) демоверсию теста, включающую образцы тестовых заданий;

е) образец выдаваемого документа в соответствии с подпунктом 5.2.8. настоящих Методических рекомендаций;

ж) иные документы на усмотрение разработчика тестирующей системы.

9.3. В целях формирования Перечня Рабочая группа проводит анализ представленных Разработчиком тестирующей системы документов, результаты которого заносятся в протокол заседания Рабочей группы с соответствующими рекомендациями. Протокол заседания Рабочей группы направляется в Управление летной эксплуатации Росавиации.

9.4. В ходе проведения анализа разработчику тестирующей системы предлагается продемонстрировать функциональные возможности тестирующей системы (демоверсию).

9.5. На основании рекомендаций, изложенных в протоколе заседания Рабочей группы, Управление летной эксплуатации Росавиации формирует Перечень.

9.6. В случаях: представления разработчиком тестирующей системы неполного пакета документов и материалов или недостоверной информации; несоответствия тестирующей системы рекомендациям главы 6 Doc ICAO 9835, Управление летной эксплуатации Росавиации не вносит тестирующую систему в Перечень или исключает тестирующую систему из Перечня, о чем информирует разработчика тестирующей системы.

9.7. В целях подтверждения актуальности тестовых материалов и соответствия тестирующих систем положениям главы 6 Doc ICAO 9835 Рабочей группе рекомендуется осуществлять мониторинг тестирующих систем, включенных в Перечень. Рабочей группе предлагается оформлять результаты мониторинга протоколом заседания Рабочей группы и направлять их в Управление летной эксплуатации Росавиации.

______________________________

* В скобках указаны номера пунктов главы 6 раздела 3 Руководства по внедрению требований ИКАО к владению языком (Doc ICAO 9835)