Методические рекомендации по организации взаимодействия с экспертами и использованию результатов их работы (утв. Коллегией Счетной палаты РФ (протокол от 24 мая 2022 г. N 34К (11)))

Методические рекомендации по организации взаимодействия с экспертами и использованию результатов их работы
(утв. Коллегией Счетной палаты РФ (протокол от 24 мая 2022 г. N 34К (11)))

1. Общие положения и определения

1.1. Общие положения

1.1.1. Методические рекомендации по организации взаимодействия с экспертами и использованию результатов их работы (далее - Методические рекомендации) разработаны для определения порядка привлечения, взаимодействия и использования результатов работы экспертов при проведении комплексов мероприятий, а также отдельных контрольных и экспертно-аналитических мероприятий Счетной палаты Российской Федерации (далее - проведение мероприятий, мероприятия, Счетная палата) в целях повышения их качества.

1.1.2. Методические рекомендации разработаны на основе положений Федерального закона от 5 апреля 2013 г. N 41-ФЗ "О Счетной палате Российской Федерации", Стратегии развития Счетной палаты на 2018-2024 годы, стандартов внешнего государственного аудита (контроля), осуществляемого Счетной палатой*(1), Регламента Счетной палаты, а также с учетом положений ISSAI 2620 "Использование работы эксперта аудитора" и ISSAI 2500 "Аудиторские доказательства".

1.1.3. Методические рекомендации предназначены для использования членами Коллегии Счетной палаты, инспекторами и иными сотрудниками аппарата Счетной палаты.

1.1.4. Информационно-аналитическое обеспечение организации работы с экспертами осуществляется с помощью модуля "Экспертная платформа" комплекса программных средств "Цифровая платформа" (далее - Экспертная платформа).

1.2. Термины и определения

Для целей Методических рекомендаций используются следующие термины и определения:

реестр экспертов Счетной палаты (реестр экспертов) - единая база данных Экспертной платформы со сведениями об экспертах, их компетенциях, профессиональном опыте и деловой репутации, сотрудничающих или готовых к сотрудничеству со Счетной палатой, уровень которых соответствует единым критериям отбора;

экспертиза - исследование, проводимое лицом, обладающим специальными знаниями в определенной сфере, в целях получения ответов на поставленные вопросы или выполнения конкретного вида работ (услуг);

Экспертная платформа - модуль комплекса программных средств "Цифровая платформа", предназначенный для информационно-аналитического обеспечения работы внутренних пользователей и внешних пользователей (кандидатов в эксперты, экспертов) при организации привлечения экспертов к проведению мероприятий (в составе государственной информационной системы "Информационно-телекоммуникационная система "Контроль" Счетной палаты");

экспертное задание - задание эксперту, сформулированное в виде вопросов или конкретного вида работ (услуг) и условий их выполнения.

2. Определение необходимости привлечения эксперта

2.1. При планировании мероприятий руководитель структурного подразделения аппарата Счетной палаты (далее - структурное подразделение) может предварительно определить необходимость привлечения экспертов на основе результатов анализа компетенций сотрудников, планируемых к участию в мероприятии.

Необходимость привлечения экспертов может пересматриваться и уточняться при проведении мероприятия.

На ранних стадиях обсуждения мероприятия (до его начала), включенного в план работы Счетной палаты, необходимость экспертной поддержки может определяться в виде общей постановки задачи без определения конкретного экспертного задания (например, "консультация по вопросу получения данных в сфере...").

2.2. Привлечение эксперта нецелесообразно в случаях, когда инспекторы Счетной палаты имеют возможность восполнить недостаток компетенций через:

1) ознакомление с результатами работы экспертов по данной тематике, включая изучение научной и иной профессиональной литературы;

2) обучение в данной области (в случаях, когда недостаток компетенций возможно восполнить за период непродолжительного обучения);

3) ознакомление с результатами и рабочей документацией ранее проведенных мероприятий;

4) проведение консультаций с сотрудниками Счетной палаты, имеющими опыт привлечения экспертов к выполнению аналогичных экспертных заданий в ходе ранее проведенных мероприятий, а также сотрудниками, обладающими необходимыми компетенциями;

5) ознакомление с материалами, размещенными в Репозитории знаний в области государственного аудита (https://repository.ach.gov.ru);

6) привлечение сотрудников иных структурных подразделений к решению поставленной задачи:

Департамента исследований и методологии - в области анализа данных;

Департамента международного и регионального сотрудничества - в области международных отношений и анализа зарубежного опыта;

Департамента цифровой трансформации - в области информационных технологий;

Департамента стратегического развития - в области анализа проектной деятельности.

2.3. При принятии решения о привлечении эксперта для выполнения экспертного задания следует исходить из того, что взаимодействие участников мероприятия и экспертов должно способствовать формированию необходимых компетенций для ответа на вопросы и достижения целей мероприятия. При этом экспертное задание должно включать в себя вопросы или конкретные работы (услуги), выполнение которых предполагает наличие у эксперта специальных знаний, навыков и опыта в области, отличной от внешнего государственного аудита (контроля).

Необходимость привлечения эксперта оценивается с учетом:

достаточности количества надлежащих аудиторских доказательств, которое можно обеспечить без привлечения эксперта;

соотношения существенности*(2) исследуемого вопроса (значение экспертного задания в контексте мероприятия) с затратами финансовых и иных ресурсов на привлечение эксперта, к которым относятся затраты на взаимодействие, документирование, сопровождение, проверку промежуточных результатов и оценку качества выполненной им работы.

2.4. При определении необходимости привлечения эксперта и перед осуществлением подбора эксперта рекомендуется ознакомиться с результатами аналогичных или схожих работ в целях исключения дублирования выполняемых экспертных заданий. Для этого:

используется функционал "Поиск похожих экспертиз" в Экспертной платформе;

анализируются отчеты по ранее выполненным или выполняемым контрактам Счетной палаты на выполнение научно-исследовательских работ и консалтинговых услуг;

анализируются сведения Единой государственной информационной системы учета научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (https://www.rosrid.ru/), Единой информационной системы в сфере закупок (https://zakupki.gov.ru/), Национального фонда алгоритмов и программ (http://portal.eskigov.ru).

2.5. Отдельные риски, возникающие при привлечении экспертов, и рекомендуемые меры по их снижению приведены в приложении N 1 к Методическим рекомендациям.

2.6. Руководитель мероприятия может инициировать привлечение эксперта для выполнения одного или нескольких экспертных заданий в рамках проводимого мероприятия по согласованию с руководителем структурного подразделения и членом Коллегии Счетной палаты, ответственным за проведение мероприятия.

2.7. Предложения по привлечению эксперта к проведению мероприятия должны включать:

1) обоснование необходимости привлечения эксперта;

2) экспертное задание;

3) результаты подбора кандидатур экспертов.

Для формирования предложений рекомендуется использовать форму, предусмотренную приложением N 2 к Методическим рекомендациям.

2.8. Заключение государственных контрактов на выполнение работ (оказание услуг) экспертами на возмездной основе осуществляется в соответствии с Регламентом работы контрактной службы Счетной палаты Российской Федерации, утвержденным приказом Председателя Счетной палаты.

2.9. Предметом экспертных заданий не могут быть цели или вопросы программы мероприятия целиком. Объем экспертных заданий, выполняемых экспертом, не должен составлять большую по объему и значимости часть процедур (работ), предусмотренных рабочим планом мероприятия.

2.10. Руководитель мероприятия может поручить организацию привлечения и дальнейшего взаимодействия с экспертом другому участнику мероприятия. При этом ответственность за качество взаимодействия с экспертом для достижения целей мероприятия лежит на руководителе мероприятия.

2.11. Руководитель мероприятия или иной сотрудник структурного подразделения, ответственный за организацию привлечения и дальнейшее взаимодействие с экспертом (далее - ответственный сотрудник), осуществляет:

1) подбор эксперта;

2) формирование экспертного задания;

3) контроль за исполнением обязательств эксперта по соглашению, договору, государственному контракту;

4) информационный обмен с экспертом;

5) оценку работы эксперта, подготовку отчета о проведении экспертизы по результатам приемки работ (услуг) (в случае заключения государственного контракта);

6) информирование эксперта о результатах мероприятия, в том числе о фактическом использовании работы эксперта;

7) документирование взаимодействия с экспертом.

2.12. По одному экспертному заданию в отдельных случаях целесообразно привлекать нескольких экспертов. Например, в целях получения более объективной картины результатов.

2.13. Экспертное задание может включать получение мнения эксперта по определенному вопросу или выполнение отдельных работ, например, получение мнения эксперта:

о ключевых рисках в сфере предмета мероприятия;

о дизайне или элементах дизайна мероприятия*(3) (например, о приоритетности гипотез для анализа, валидности и возможности использования конкретных методов сбора и (или) анализа данных и т.д.), о том, какие аспекты предмета мероприятия являются наиболее важными;

об информации о релевантных исследовательских материалах, источниках данных и передовых методах, связанных с предметом исследования;

об интерпретации полученных результатов, выводов, о предложениях (рекомендациях).

2.13.1. Мнение эксперта по определенному вопросу может быть получено по итогам:

коллективной работы нескольких экспертов в формате свободного обсуждения (рабочей встречи, круглого стола) или структурированного обсуждения (стратегическая сессия, риск-сессия, фокус-группа, мозговой штурм);

индивидуальной консультации, интервью, опроса (анкетирования).

2.13.2. Выполнение экспертом отдельных работ может предполагать сбор и (или) анализ данных, проведение экспертизы по узкоспециализированным вопросам. В этом случае рекомендуется заключать с экспертом договор.

3. Подбор эксперта

3.1. Для привлечения экспертов с высоким уровнем компетенций и деловой репутации к проведению мероприятия привлекаются эксперты, включенные в реестр экспертов.

Реестр экспертов включает членов Экспертно-консультативного совета при Председателе Счетной палаты и иных экспертов, соответствующих критериям отбора, и по согласованию со структурными подразделениями. Критерии отбора эксперта и порядок ведения реестра экспертов приведены соответственно в приложениях N 3 и 4 к Методическим рекомендациям.

3.2. Включение экспертов в реестр проводится:

по инициативе эксперта;

по инициативе членов Коллегии и руководителей структурных подразделений;

по инициативе сторонних организаций (в случае обращения в официальном порядке к Председателю Счетной палаты с просьбой рассмотреть кандидатуру сотрудника организации в качестве эксперта Счетной палаты).

3.3. Исключение экспертов из реестра проводится:

по инициативе эксперта;

в случае смены места работы эксперта, если новая должность не позволяет больше сотрудничать со Счетной палатой (например, переход на государственную службу);

по инициативе структурных подразделений, осуществлявших взаимодействие с экспертом;

по согласованию с Департаментом исследований и методологии в случаях подтвержденного негативного результата взаимодействия с экспертом, выявления случаев или обстоятельств, подрывающих деловую репутацию эксперта.

3.4. Если эксперт с необходимыми компетенциями отсутствует в реестре экспертов, ответственный сотрудник может подобрать эксперта самостоятельно или направить заявку на подбор эксперта в Департамент исследований и методологии по форме, предусмотренной приложением N 5 к Методическим рекомендациям, на адрес электронной почты: expert@ach.gov.ru (до запуска соответствующего функционала Экспертной платформы, приведенного в приложении N 6 к Методическим рекомендациям).

3.4.1. При самостоятельном подборе эксперта рекомендуется учитывать положения пунктов 3.5.1-3.5.3 Методических рекомендаций и приложения N 3 к Методическим рекомендациям, а также использовать для постановки задачи форму заявки на подбор эксперта, предусмотренную приложением N 5 к Методическим рекомендациям.

3.4.2. Департамент исследований и методологии в случае получения заявки на подбор эксперта в течение 5 рабочих дней формирует список рекомендуемых экспертов с учетом критериев, приведенных в приложении N 3 к Методическим рекомендациям, и направляет данный список на адрес электронной почты ответственному сотруднику, направившему заявку.

Окончательный подбор эксперта для выполнения конкретного экспертного задания на основании списка рекомендуемых экспертов проводит ответственный сотрудник.

3.4.3. На основании предложений руководителя мероприятия руководитель структурного подразделения инициирует включение эксперта в Реестр экспертов с помощью Экспертной платформы, заполнив сведения в Реестре кандидатов в эксперты и направив их на согласование в Департамент исследований и методологии.

3.5. При подборе эксперта следует принимать во внимание:

наличие у эксперта релевантных экспертному заданию компетенций и специализаций;

объективность данного эксперта с точки зрения мероприятия, в том числе отсутствие конфликта интересов (отсутствие личной и деловой заинтересованности у эксперта в получении определенного результата выполнения работ).

3.5.1. Релевантные компетенции - это способность эксперта применить знания и навыки в выполнении экспертного задания в рамках тематики конкретного мероприятия, для которого будут использоваться результаты работы эксперта. Например, сметчик может специализироваться на составлении смет на реконструкцию зданий, но иметь ограниченный опыт в области составления сметы на выполнение реставрационных работ.

3.5.2. Компетентность эксперта может оцениваться по следующим критериям:

опыт выполнения аналогичных работ, оказания услуг, участия в проектах и мероприятиях (например, опыт выполнения научно-исследовательских (экспертных) работ по схожим темам, проведения аналогичных экспертиз, применения аналогичных методов и т.п.);

наличие качественных научных публикаций*(4), выступлений, докладов, образовательных программ, разработанных с участием эксперта, по предмету мероприятия;

профессиональное признание в сфере предмета мероприятия (членство и должности в профессиональных организациях и объединениях, награды и документы, характеризующие профессиональные достижения, международные сертификаты, призовые места на профессиональных конкурсах, места в рейтингах и т.п.).

При отборе рекомендуется отдавать предпочтение тем экспертам, которые в течение последних 3-5 лет проводили научную, профессиональную и экспертную деятельность, релевантную экспертному заданию.

3.5.3. Объективность эксперта - это отсутствие заинтересованности эксперта в получении определенного результата при выполнении экспертного задания. Объективности могут угрожать различные обстоятельства, например, личная заинтересованность эксперта (финансовые интересы, личные взаимоотношения), а также деловые отношения эксперта с объектом мероприятия (выполнение работ, оказание услуг, вхождение в состав коллегиальных органов).

На объективность эксперта оказывают влияние:

занимаемая должность на момент его привлечения к выполнению экспертного задания, а также за последние два года до момента выполнения экспертного задания;

другие работы, ранее выполняемые данным экспертом или на момент его привлечения к выполнению экспертного задания (например, если эксперт принимал непосредственное участие в подготовке материалов или информации, являющейся предметом проведения экспертизы);

профессиональные убеждения эксперта.

3.5.4. Обоснование выбора эксперта для выполнения экспертного задания ответственный сотрудник документирует по форме, предусмотренной приложением N 2 к Методическим рекомендациям, и включает в состав рабочей документации.

4. Взаимодействие с экспертами

4.1. Виды взаимодействия с экспертами

4.1.1. К наиболее распространенным видам взаимодействия с экспертами относятся:

индивидуальные консультации;

отдельные задания;

структурированные обсуждения (стратегические сессии, риск-сессии, мозговые штурмы);

участие в качестве респондентов*(5) в экспертных опросах, интервью;

участие экспертов в рамках работы организованной "проектной лаборатории".

4.1.2. Индивидуальные консультации с экспертами направлены на обсуждение вопросов и получение экспертизы (ответов на вопросы) в открытом формате.

4.1.3. Отдельные задания представляют собой задачи по узкоспециализированной экспертизе. К ним могут относиться, например, задачи по сбору данных и (или) анализу данных в случае невозможности провести такой анализ сотрудниками Счетной палаты.

4.1.4. Структурированные обсуждения (стратегическая сессия, риск-сессия, мозговой штурм) предполагают совместную работу экспертов и сотрудников Счетной палаты в целях поиска и выработки новых знаний по проблеме, выносимой на обсуждение, поиск и выработку решений или подходов к решениям проблемы. При этом перед проведением структурированного обсуждения разрабатывается сценарий исходя из задач и времени, отведенного для обсуждения. Обязательная роль модератора предполагает управление обсуждением, вовлечение участников в дискуссию. Как правило, накануне структурированного обсуждения организаторы готовят и рассылают участникам обсуждения программу и необходимые материалы, назначают ответственного за фиксацию результатов обсуждения (предпочтительно в структурированном виде).

4.1.5. Социологические исследования с привлечением экспертов могут проводиться в форме:

экспертных интервью, которые проводятся, как правило, в целях уточнения информации по исследуемой проблеме и проходят в форме индивидуальной беседы по заранее сформулированному руководству проведения интервью;

фокус-групп, которые проводятся модератором, направляющим дискуссию на основе заранее сформулированного руководства проведения фокус-групп и предоставляющим участникам возможность высказаться. Оптимальное число участников составляет 8-10 экспертов;

опроса экспертов, который проводится на основе разработанной анкеты.

Экспертное интервью является одним из наиболее распространенных методов получения знаний о проблеме, который может позволить:

обойтись без обработки больших объемов тематической литературы и масштабного сбора данных;

получить быстрый доступ в исследовательское поле на основе институциональной принадлежности экспертов к различным организациям, научно-исследовательским и аналитическим центрам;

получить информацию о других экспертах.

В зависимости от решаемых задач выделяют три вида экспертных интервью, различающихся по способам проведения, целям анализа, подходам к анализу полученной от экспертов информации:

1) разведывательное экспертное интервью для "входа" в новую изучаемую проблематику. Как правило, такое интервью предшествует качественному или количественному анализу, может проводиться в достаточно свободной форме в целях затронуть различные аспекты изучаемого вопроса. При проведении разведывательных экспертных интервью важными являются представления эксперта о проблеме, вовлеченных акторах*(6), важных событиях и т.д.;

2) систематизирующее экспертное интервью для получения от эксперта фактов и информации, которые позволят систематизировать уже имеющиеся данные. При проведении систематизирующих экспертных интервью личное мнение эксперта, его интерпретация событий не играют важную роль, так как эксперт выступает лишь носителем знания о фактах;

3) экспертное интервью, направленное на выработку "теории", нацелено на реконструкцию представлений эксперта, приводящих его к тому или иному выводу. При проведении таких интервью акцент делается на установках эксперта и на том, как они могут повлиять на позицию эксперта.

При проведении экспертного интервью может возникать проблема объективности эксперта как участника процесса создания знания (например, при оценке государственных политик, программ и проектов). В ситуации, когда эксперт знает, что может предоставить знание, которое может напрямую повлиять на функционирование сферы его экспертизы, эксперт перестает быть просто внешним наблюдателем, обладающим знанием, и становится заинтересованной стороной, то есть имеет свою повестку и может быть заинтересованным в определенном результате анализа (например, это может проявляться в том, что эксперт будет все время возвращаться к одной и той же тематике и т.д.). Такая ситуация представляет собой угрозу для валидности выводов, сделанных на основе такого экспертного интервью. Снижению такой угрозы могут способствовать работа двух интервьюеров*(7), включение в руководство проведения интервью отсылок к фактическим данным и показателям, проведенным ранее исследованиям, мнениям других экспертов, чтобы зафиксировать наличие предвзятости эксперта.

Экспертные интервью часто требуют большей подготовки, чем интервью с другими респондентами, потому что для них характерны дополнительные коммуникативные проблемы. К таким проблемам можно отнести:

снисходительное отношение эксперта к интервьюеру как к менее сведущему и просящему экспертизы;

использование интервью как способа внешнего признания своих знаний экспертом, желание эксперта перехватить инициативу и выяснить детали исследования (анализа) у интервьюера. Такие проблемы взаимодействия с экспертами требуют отдельной проработки, включая отражение стратегии обхода этих проблем в руководстве проведения интервью.

4.1.6. "Проектные лаборатории" создаются на базе образовательных организаций под проект по исследованию определенной тематики, которая исследуется в рамках кросс-отраслевых или отраслевых комплексов мероприятий, одного или нескольких мероприятий. Руководителем "проектной лаборатории", как правило, является эксперт в предметной области, руководитель института (лаборатории) образовательной организации. К участию привлекаются научные сотрудники, аспиранты и студенты. Продолжительность проведения исследования в рамках "проектной лаборатории" зависит от задач и осуществляется в соответствии с планом-графиком.

Организация "проектной лаборатории" и координация взаимодействия с ее руководителем осуществляется Департаментом исследований и методологии. Для начала работ по организации "проектной лаборатории" необходимо сформулировать тему исследования, задачи для проведения исследования, требования к формату и содержанию отчетных материалов по результатам исследования, обозначить желаемые сроки получения результатов исследования.

4.2. Оформление взаимодействия с экспертами

4.2.1. Привлечение эксперта может осуществляться:

1) путем заключения соглашения, безвозмездного договора с экспертом;

2) путем заключения возмездного договора (государственного контракта)*(8) с экспертом;

3) в рамках соглашений о сотрудничестве (взаимодействии) Счетной палаты с организациями;

4) посредством взаимодействия с экспертом в рабочем порядке без заключения договора.

Блок-схема для выбора формата оформления взаимодействия с экспертом приведена на рисунке 1.

4.2.2. Как правило, взаимодействие с экспертом в формате обсуждений, рабочих совещаний, участия в социологических исследованиях, индивидуальных устных консультаций осуществляется без заключения договора.

4.2.3. Соглашение о взаимодействии рекомендуется заключать с обозначением круга вопросов взаимодействия (предмета соглашения) с регулярно привлекаемыми экспертами (члены Экспертно-консультативного совета при Председателе Счетной палаты Российской Федерации, эксперты, включенные в реестр экспертов и имеющие положительный опыт взаимодействия со Счетной палатой).

В случае заключения соглашения о взаимодействии условия участия в мероприятиях, включая формат участия, экспертное задание, иные требования к экспертной и консультационной поддержке согласовываются дополнительно.

4.2.4. Безвозмездный договор рекомендуется заключать при первичном взаимодействии Счетной палаты с экспертом для снижения рисков ненадлежащего раскрытия тематики цели или вопроса мероприятия, получения некачественного результата работы эксперта.

4.2.5. Государственный контракт на выполнение работ (оказание услуг) на возмездной основе может быть заключен только в случае обоснованной невозможности выполнить работу собственными силами, силами сотрудников иных структурных подразделений, обладающих необходимыми компетенциями, а также на безвозмездной основе экспертами.

4.2.5.1. Возможность выполнить работу силами сотрудников иных структурных подразделений уточняется руководителем соответствующего структурного подразделения путем направления письма с запросом на оказание консультативной поддержки в адрес руководителя структурного подразделения, сотрудники которого обладают необходимыми компетенциями, с учетом положений пункта 2.2 Методических рекомендаций.

4.2.5.2. При этом необходимо учитывать следующее:

следует обосновывать невозможность привлечения эксперта на безвозмездной основе, а также невозможность участников мероприятия и сотрудников иных структурных подразделений выполнить экспертное задание;

учитывать возможность привлечения эксперта к выполнению отдельного задания (подвопроса) в рамках цели или вопроса мероприятия, направленного на более глубокое изучение аспектов его предмета;

как правило, не проводятся закупки работ (услуг) по оценке дизайна отдельными экспертами; разработке методологии мероприятия; обзорам международного опыта; по оценке (валидации) результатов и выводов проекта отчета по итогам мероприятия; аналитики данных, которая может быть проведена сотрудниками Счетной палаты;

нецелесообразность закупки работ (услуг), аналогичных ранее выполненным*(9) (за исключением работ (услуг), результаты которых невозможно применить для целей мероприятия);

участники мероприятия должны обладать необходимыми знаниями и навыками, чтобы принять работу эксперта в соответствии с положениями раздела 7 Методических рекомендаций либо обеспечить привлечение других сотрудников Счетной палаты или экспертов, не принимавших участие в выполнении экспертного задания, к оценке результатов работы эксперта.

4.2.5.3. Заключение государственного контракта на выполнение работ (оказание услуг) экспертом может осуществляться по результатам закупки конкурентным способом или с единственным исполнителем.

4.2.6. Договоры с экспертами заключаются в порядке, установленном законодательством Российской Федерации, с указанием условий о соблюдении конфиденциальности, предотвращении конфликта интересов и обработке персональных данных.

4.2.7. При инициировании взаимодействия с экспертом ответственный сотрудник использует функционал Экспертной платформы для автоматического формирования проекта договора и его согласования с экспертом. Автоматическое формирование проекта договора осуществляется на основе экспертного задания и разработанных шаблонов договоров. Внутреннее согласование с заинтересованными структурными подразделениями осуществляется в СЭД "Дело".

Порядок заключения договора с экспертом с использованием Экспертной платформы представлен в приложении N 7 к Методическим рекомендациям.

Заключение государственного контракта на возмездной основе осуществляется в соответствии с Регламентом работы контрактной службы Счетной палаты Российской Федерации, утвержденным приказом Председателя Счетной палаты.

4.2.8. Ответственный сотрудник согласовывает безвозмездный договор с Правовым департаментом и организовывает подписание экспертом и лицом, уполномоченным Председателем Счетной палаты на подписание договора.

Контроль за исполнением обязательств эксперта по безвозмездному договору, а также обязательства Счетной палаты по приемке результатов выполненных работ (оказанных услуг) осуществляет ответственный сотрудник. Проверка результатов оказанных услуг, выполненных работ, представленных экспертом отчетных документов на соответствие требованиям договора проводится ответственным подразделением с учетом положений раздела 7 Методических рекомендаций.

4.2.9. Факт привлечения эксперта к участию в мероприятиях без заключения договора фиксируется в Экспертной платформе и в рабочей документации мероприятия.

4.2.10. В случаях, когда эксперту для выполнения экспертного задания необходимо присутствовать на объекте мероприятия*(10), по решению члена Коллегии Счетной палаты, ответственного за проведение мероприятия, эксперта следует включать в программу проведения мероприятия в качестве участника мероприятия. При этом эксперт не приобретает правовой статус инспектора Счетной палаты, то есть на него не распространяется совокупность предусмотренных законодательством Российской Федерации прав и обязанностей инспекторов Счетной палаты.

Включение эксперта в состав участников мероприятия не освобождает структурное подразделение от обязанности оформления договорных отношений с данным экспертом.

5. Формирование экспертного задания

5.1. Экспертное задание, формируемое для выполнения работ (оказания услуг) экспертом, включает следующие разделы:

цель и задачи;

перечень вопросов к эксперту и (или) виды работ (услуг) эксперта;

требования к результату в виде описания того, что ожидается получить по результатам выполнения работы (оказания услуг);

сроки и этапы выполнения работы (оказания услуг);

порядок и условия взаимодействия (включая порядок и условия получения экспертом информации для выполнения работы (оказания услуг), использования сторонами полученной информации и результатов работы (услуги) эксперта;

дополнительные материалы (при необходимости их учета экспертом при выполнении задания).

Чем более значима работа эксперта в контексте мероприятия, тем более подробным должно быть описание указанных параметров.

5.2. Экспертное задание формируется и согласовывается с экспертом посредством заполнения соответствующей формы в Экспертной платформе. Экспертное задание является составляющей предмета безвозмездного договора и заполняется автоматически в Экспертной платформе, может быть детализировано и дополнено при необходимости.

5.3. Описание цели в экспертном задании должно давать представление о том, что является ожидаемым конечным результатом выполнения работы (оказания услуги) эксперта, формировать понимание исполнителя, зачем выполняется данная работа (услуга) и в чем состоит значимость и ценность ее результата.

5.4. Описание задач в экспертном задании должно быть сформулировано таким образом, чтобы из описания было понятно, какую конкретно работу (услугу) необходимо выполнить и в каком объеме.

5.4.1. При формулировании и описании задачи следует избегать общих формулировок, оставляющих неопределенность в отношении объема работ (услуг), предмета исследования (экспертизы), а также методов проведения исследования (экспертизы). Например, задачу "проанализировать документы стратегического планирования зарубежных стран" необходимо уточнить, указав характеристики документов стратегического планирования и их количество ("проанализировать документы стратегического планирования, устанавливающие национальные приоритеты в сфере образования, 5 стран, имеющих схожую с российской систему образования").

5.4.2. При формулировании и описании задачи следует указывать базовые методы выполнения экспертного задания, определенные с учетом его целей, сторону, осуществляющую сбор данных и информации, а также состав данных и информации и способ их передачи для выполнения работы (оказания услуги) экспертом.

5.4.3. При формировании экспертного задания в целях минимизации риска получения некачественных результатов рекомендуется указать требования к используемым методам. В случае возмездного выполнения работ (оказания услуг) рекомендуется использовать предложения по описанию планируемой методологии проведения работ (оказания услуг) в качестве критерия оценки заявок для закупок в форме открытого конкурса.

5.4.4. Многокомпонентные задачи рекомендуется детализировать до более конкретных задач. Например, задачу "осуществить сбор и анализ данных о рентабельности активов организаций за период с 2000 года по 2020 год, а также выработать рекомендации по повышению показателей рентабельности с учетом результатов проведенного анализа" целесообразно разделить на несколько подзадач: сбор данных, анализ данных, выработка рекомендаций по результатам анализа.

5.4.5. В формулировках задач следует избегать неоднозначно трактуемых терминов ("эффективный", "адекватный", "простой", "достаточный" и т.п.). Например, задачу "разработать адекватный инструментарий" необходимо уточнить, указав характеристики инструментария ("разработать инструментарий, позволяющий производить количественную оценку рисков...").

5.4.6. При формулировании задачи эксперту следует указывать на необходимость выполнения работы (оказания услуги) с учетом положений соответствующих стандартов внешнего государственного аудита (контроля), иных стандартов и профессиональных или отраслевых документов.

5.5. Требования к результатам экспертного задания должны быть описаны в виде детальных количественных и (или) качественных критериев, которые позволяют объективно оценить результаты и качество выполнения экспертного задания. Например, требование "разработанная анкета для проведения опроса должна содержать не менее 40 вопросов по теме..." необходимо уточнить, указав более детально группы вопросов ("Разработанная анкета для проведения опроса должна содержать не менее 40 вопросов по теме... по следующим четырем блокам: социально-демографическая группа вопросов (не менее 10 вопросов); группа вопросов, направленных на изучение... (не менее 10 вопросов); группа вопросов, направленных на изучение... (не менее 10 вопросов); группа вопросов, направленных на измерение... (не менее 10 вопросов).").

Требования рекомендуется формулировать к результатам каждой задачи и (или) подзадачи.

5.6. В экспертном задании целесообразно устанавливать детальные требования к отчетным материалам, в том числе к:

форме отчета о результатах работы (услуги) (отчет, презентация, аналитическая записка и другое);

приложениям (материалы, являющиеся приложением к отчету);

структуре и объему отчетных материалов (с указанием количества экземпляров, в случае подготовки отчета на бумажном носителе, минимального количества листов отчета);

форматам отчетных материалов (".docx", ".xlsx", ".pptx", ".pdf" и другие).

5.7. В случаях когда объем экспертного задания является значительным и качество выполнения его следующего этапа зависит от предыдущего, в целях снижения рисков получения результатов работы (услуги) неудовлетворительного качества рекомендуется разбивать выполнение экспертного задания на несколько этапов с указанием по каждому этапу объема и сроков выполнения работ (оказания услуг), а также требований к отчетным материалам.

6. Информационное взаимодействие с экспертом

6.1. До начала выполнения работы (оказания услуги) экспертом (исполнителем государственного контракта) рекомендуется согласовать условия рабочего взаимодействия, в том числе о способах коммуникации, периодичности и продолжительности встреч, порядке действий, если одна из сторон не выходит своевременно на связь.

6.2. В ходе взаимодействия следует соблюдать правила, подчеркивающие ценность эксперта для Счетной палаты и уважение сотрудников Счетной палаты к эксперту на всех этапах взаимодействия, соблюдать правила деловой переписки и общения с соблюдением делового этикета, в том числе:

1) заранее определить взаимоприемлемые форматы общения с экспертом, интенсивность и (или) график встреч, общения;

2) назначать даты встречи с учетом загруженности эксперта;

3) направлять заблаговременное приглашение эксперту на встречу, включая информацию, как добраться до места проведения встречи, контактные данные лица, кто может дать разъяснения в случае возникновения вопросов;

4) направлять эксперту материалы по теме встречи для ознакомления (в зависимости от объема материалов, но не позднее чем за 3 рабочих дня до встречи);

5) своевременно уведомлять эксперта об изменениях ранее достигнутых договоренностей;

6) готовить раздаточные материалы (при необходимости);

7) фиксировать основные результаты встречи и достигнутые договоренности;

8) направлять результаты встречи эксперту (не позднее чем на следующий рабочий день после встречи);

9) выражать благодарность эксперту за участие в обсуждении и (или) выполнение работы (оказание услуги).

6.3. На заинтересованность эксперта в выполнении экспертного задания существенное влияние оказывает понимание контекста мероприятия, целей, вопросов мероприятия и ожидаемых результатов. В связи с этим целесообразно своевременно информировать эксперта:

1) о причине обращения именно к этому эксперту (например, с пояснением значимости предыдущих работ эксперта для анализа в сфере предмета мероприятия);

2) об актуальности задач, требующих экспертной поддержки, в рамках мероприятия, особенностях проведения мероприятия, отличиях планируемого анализа и его ожидаемых результатов от проведенных ранее исследований;

3) о вкладе работы эксперта в результаты мероприятия, о потенциальном влиянии результатов работы эксперта на ситуацию в проблемной области, исследуемой сфере;

4) о предполагаемой степени вовлеченности эксперта в мероприятие, в том числе сроки проведения мероприятия, подробное описание экспертного задания;

5) о возможности эксперта ознакомиться с результатами мероприятия (отчетом о результатах мероприятия), принять участие в экспертных обсуждениях;

6) о возможностях или ограничениях использования данных и информации;

7) о степени открытости информации об участии эксперта в мероприятии.

6.4. В ходе выполнения экспертного задания у эксперта может возникнуть необходимость ознакомиться с дополнительной информацией или данными. Ответственному сотруднику следует согласовать с членом Коллегии Счетной палаты, ответственным за проведение мероприятия, возможность передачи необходимых материалов эксперту.

В случаях когда для выполнения экспертного задания эксперту необходимо получение информации ограниченного доступа, доступ к такой информации, в том числе содержащейся в информационных системах, осуществляется в строгом соответствии с требованиями законодательства Российской Федерации и иных нормативных правовых актов, а также правилами эксплуатации информационных систем, установленными операторами соответствующих информационных систем.

Предоставление эксперту доступа к информации, предоставленной Счетной палате в рамках соглашений о сотрудничестве и (или) информационном взаимодействии с государственными органами и иными организациями, осуществляется с учетом условий указанных соглашений, регламентирующих порядок предоставления информации иным лицам.

6.5. Взаимодействие с экспертом рекомендуется осуществлять не только в рамках выполнения конкретного экспертного задания, но и поддерживать деловые контакты путем организации рабочих встреч с обсуждением проблем в сфере интересов эксперта, обмена релевантной информацией и т.д.

6.6. Способом выражения признательности за высококачественную работу эксперта могут быть официальные благодарности (благодарность или благодарственное письмо Председателя Счетной палаты, члена Коллегии Счетной палаты), публичный статус эксперта Счетной палаты, приглашение выразить экспертную позицию в информационных продуктах Счетной палаты (например, бюллетене Счетной палаты), участие сотрудников Счетной палаты в мероприятиях экспертных организаций.

6.7. Частота информационного взаимодействия с экспертом зависит от характера и объема работ (услуг), выполняемых экспертом. При этом целесообразно заблаговременно определить и согласовать даты обсуждения промежуточных и конечных результатов выполнения экспертного задания.

6.8. Результаты встречи с экспертом по содержательным вопросам, в том числе индивидуальная консультация, документируются (по форме, предусмотренной в приложении N 8 к Методическим рекомендациям). Документирование позиции эксперта содержит дату обсуждения, состав участников обсуждения, вопросы, обсуждаемые с экспертом, и мнение эксперта по каждому вопросу.

7. Оценка результатов работы (услуги) эксперта и использование их в отчете о результатах мероприятия

7.1. Способ оформления результатов работы (услуги) экспертов зависит от формата его привлечения:

для индивидуальных консультаций и структурированных обсуждений - итоги встреч с экспертами. Примерная форма документирования итогов встречи с экспертами приведена в приложении N 8 к Методическим рекомендациям;

для фокус-групп, интервью, опросов - аудиозапись, стенограмма, резюме встречи, заполненные опросные листы, отчет по результатам анализа полученных данных и информации. Примерный состав и содержание рабочей документации, оформленной по результатам проведения фокус-групп, интервью, опросов, приведены в приложении N 9 к Методическим рекомендациям;

для отдельных заданий и "проектных лабораторий" - отчетные материалы, оформленные в виде отчета (заключения) эксперта (группы экспертов) о выполнении работы (оказании услуги). Примерная структура отчета (заключения) эксперта по результатам выполнения отдельных заданий приведена в приложении N 10 к Методическим рекомендациям.

7.2. Отчетные материалы, оформленные по результатам работы (услуги) экспертов, следует включать в состав рабочей документации.

7.3. Оценка результатов работы (услуги) эксперта для целей мероприятия (в случае выполнения отдельных заданий, в том числе в рамках "проектной лаборатории") представляет собой проведение оценки:

1) соответствия выполненных работ (оказанных услуг) экспертному заданию и (или) требованиям договора (государственного контракта);

2) корректности допущений и методов сбора и (или) анализа данных, надежности использованных экспертом данных и информации;

3) обоснованности выводов эксперта и применимости в отчете о результатах мероприятия;

4) риска и степени заимствований.

7.4. Для получения объективного заключения рекомендуется осуществлять оценку результатов работы (услуги) эксперта с привлечением сотрудников Счетной палаты и (или) экспертов, не принимавших участие в выполнении экспертного задания, но обладающих необходимыми компетенциями по оценке результатов работы (услуги). В случае выполнения работ (оказания услуг) в рамках государственного контракта целесообразно создание приемочной комиссии с включением сотрудников Счетной палаты, обладающих необходимыми компетенциями (в том числе иных структурных подразделений).

7.5. При оценке примененных экспертом методов сбора и анализа данных и информации необходимо оценить:

релевантность метода поставленной задаче;

полноту и качество имеющихся данных и информации;

ограничения надежности имеющихся данных и информации.

Проверка допущений, сделанных экспертом, проводится на предмет их уместности, разумности и обоснованности.

7.6. Обоснованность выводов определяется качеством сформированной экспертом доказательной базы, то есть наличием достаточного количества аудиторских доказательств надлежащего качества. В случаях когда результаты работы (услуги) эксперта не являются обоснованными, рекомендуется согласовать с экспертом характер и объем дальнейшей работы, которую должен выполнить эксперт для достаточного обоснования полученных результатов, или привлечь другого эксперта.

7.7. Оценка результатов работы (услуг) эксперта и применимости для целей мероприятия оформляется по форме, представленной в приложении N 11 к Методическим рекомендациям.

В случае создания приемочной комиссии оценка соответствия результатов выполненных работ (оказанных услуг) условиям государственного контракта дополнительно оформляется протоколом.

7.8. Для оценки качества результатов работы (услуги) эксперта следует провести следующие процедуры:

изучение информации, сопоставимой полученным результатам исследования, в авторитетных источниках в целях оценки уникальности, непротиворечивости, актуальности и т.п. полученных результатов;

оценку материалов, подготовленных экспертом, свидетельствующих об объективности выводов и выполнении им всех необходимых процедур;

повторное выполнение отдельных процедур, например, контрольный пересчет отдельных значений показателей, рассчитанных экспертом;

получение "второго" мнения об объективности выводов и адекватности результатов у других экспертов или сотрудников иных структурных подразделений, обладающих необходимыми специальными знаниями по данному вопросу.

Под авторитетным источником в целях настоящих Методических рекомендаций понимается источник информации, заслуживающий доверия на основании профессионального суждения (например, информация научных статей с высоким импакт-фактором*(11) научного журнала и т.п.).

7.9. В отчете о результатах мероприятия, подготовленном с использованием результатов работы (услуги) эксперта, не может выражаться мнение эксперта. Отчет может содержать результаты, выводы и предложения (рекомендации), сформулированные на основе использования результатов работы (услуги) эксперта.

7.10. По итогам оценки результаты работы (услуги) эксперта могут быть использованы как аудиторские доказательства при подготовке отчета о результатах мероприятия в случае соответствия целям мероприятия и установленным экспертным заданием требованиям. При этом руководитель мероприятия и участники мероприятия не освобождаются от ответственности за результаты, выводы, предложения (рекомендации), сформированные и отраженные в отчете о результатах мероприятия. Их ответственность не уменьшается вследствие использования работы (услуги) эксперта.

7.11. Для подтверждения возможности использования результатов работы (услуги) эксперта руководитель мероприятия должен получить от эксперта материалы, подтверждающие выполнение работ (оказание услуг) и обосновывающие сформулированные экспертом выводы. Состав отчетных материалов зависит от специфики выполняемой экспертом работы (оказываемой услуги). В случае если результаты работы (услуги) эксперта содержат информацию ограниченного доступа, не допускается передача отчетных материалов с использованием каналов связи без применения средств защиты информации. Способ передачи отчетных материалов может быть указан в договоре, заключенном с экспертом.

______________________________

*(1) СГА 101 "Общие правила проведения контрольного мероприятия", СГА 102 "Общие правила проведения экспертно-аналитических мероприятий", СГА 107 "Управление качеством контрольных и экспертно-аналитических мероприятий".

*(2) Определяется с учетом положений раздела 2.7 СГА 105 "Стратегический аудит" и раздела 2.5 СГА 104 "Аудит эффективности".

*(3) При обсуждении с экспертом программы и дизайна мероприятия целесообразно формулировать конкретные вопросы, относящиеся к тому или иному аспекту проводимого мероприятия. Примеры вопросов приведены в приложении N 12 к Методическим рекомендациям.

*(4) Качественной научной публикацией может считаться публикация, входящая в первый или второй квартили (Q1 и Q2) изданий базы Scopus, отражающие степень цитируемости и авторитетности цитирующих научных журналов. При этом при оценке качества научной публикации рекомендуется проводить оценку используемой методологии и обоснованности результатов и выводов научной статьи.

*(5) Респондент - лицо, принимающее участие в социологическом исследовании.

*(6) Актор - лицо, осуществляющее какое-либо действие.

*(7) Интервьюер - лицо, проводящее опрос респондентов.

*(8) Закупка работ (услуг) для нужд Счетной палаты Российской Федерации осуществляется в соответствии с Регламентом работы контрактной службы Счетной палаты Российской Федерации, утвержденным приказом Председателя Счетной палаты.

*(9) Ознакомиться с результатами ранее выполненных работ экспертами можно на внутреннем информационном портале Счетной палаты Российской Федерации в разделе "Документы" в папке "Закупки консультационных услуг", в базе НИОКР, а также запросив у объекта аудита результаты проведенных научно-исследовательских работ по предмету мероприятия.

*(10) Присутствие на объекте мероприятия необходимо в случаях необходимости выполнения экспертом отдельных работ (процедур) в соответствии с рабочим планом мероприятия непосредственно на объекте мероприятия.

*(11) Импакт-фактор - численный показатель цитируемости статей, опубликованных в научном журнале.