Приложение 1. Типовой порядок организации проведения независимой оценки качества работы государственных учреждений, оказывающих социальные услуги

Приложение 1
к Приказу
от 31.10.2013 N ОД-185

Типовой порядок
организации проведения независимой оценки качества работы государственных учреждений, оказывающих социальные услуги

I. Общие положения.

1.1. Типовой порядок по проведению независимой оценки качества работы государственных учреждений, оказывающих социальные услуги (далее, соответственно, - Порядок, Учреждения) разработан в целях описания общеметодологических подходов организации проведения независимой оценки качества работы Учреждений, а также оказания методической помощи Общественным советам, созданным при исполнительных органах государственной власти но разработке порядка и программы мониторинга оценки качества работы Учреждений.

1.2. Независимая система оценки качества работы учреждений является институтом общественной экспертизы, регулируемым соответствующей нормативно-правовой и методической базой.

1.3. Участниками (субъектами и объектами) независимой системы оценки качества работы Учреждений являются:

- исполнительные органы государственной власти Мурманской области, осуществляющие реализацию государственной политики в сферах: образования и науки, здравоохранения, социальной защиты, культуры, занятости, физической культуры и спорта (далее - ИОГВ);

- Общественные советы, созданные при ИОГВ (далее - Общественный совет);

- Учреждения;

- потребители услуг Учреждений (в некоторых случаях: родственники и члены семьи, законные представители получателей услуг);

- экспертное сообщество;

- общественные и некоммерческие организации;

- попечительские (общественные, наблюдательные) советы Учреждений;

- рейтинговые агентства, средства массовой информации.

Индикатор - доступная наблюдению и измерению характеристика объекта, позволяющая рассчитать значение показателя по выделенному критерию1.

Нестандартизированное интервью - интервью, при котором стандартизация процесса сведена к минимуму: отсутствует заранее сформулированный перечень вопросов, их формулировка и определение длительности беседы остается на усмотрение интервьюера; вместе с тем, требуется тщательная подготовка интервьюера, должен быть очерчен круг вопросов, по которым необходимо собрать информацию, но без строгой их очередности и формулировки. При проведении нестандартизированного интервью используются открытые формулировки вопросов (т.е. без вариантов ответа), полная фиксация ответов респондентов носит обязательный характер.

Фокус-группа - метод сбора и анализа информации, основанный на глубинном интервьюировании представителей целевой аудитории по определенному плану и заранее поставленную тему в непосредственном личном контакте в специально отведенном помещении.

"Таинственный покупатель" - метод сбора информации, основанный на технике тайного включенного наблюдения и направленный на оценку потребительского опыта, полученного клиентом в процессе приобретения услуги, и измерение уровня соблюдения стандартов обслуживания клиентов сотрудниками в Учреждении. В ходе тайной проверки могут оцениваться следующие параметры: внешние и внутренние параметры здания Учреждения; наличие и доступность информации об услугах; выполнение сотрудниками норм этикета (приветливость, доброжелательность и т.п.), речь сотрудников (грамотность, вежливость, понятность и т.п.), выполнение сотрудниками действующих стандартов, чистота и порядок в помещении и на рабочих местах, скорость и качество обслуживания, доступность сотрудников для клиента и т.д. Метод "таинственного покупателя" реализуется путем посещения Учреждения и (или) телефонного звонка в роли клиента (по предварительно заготовленной легенде - например, желании получить ту или иную услугу представителем определенного контингента) и фиксацией (на диктофон, на память и т.д.) заранее определенных индикаторов с последующим заполнением формы, содержащей индикаторы и их значения.

Экспертный опрос - разновидность опроса, в ходе которого респондентами выступают компетентные лица, имеющие глубокие знания в объекте и предмете исследования. Основное назначение экспертного опроса: выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надежности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов. При опросе экспертов необходимо: провести тщательный подбор экспертов с обязательной оценкой их компетентности; учитывать факторы, влияющие на суждения эксперта, создать условия для наиболее продуктивного использования экспертов в ходе исследования, сохранять полученную от экспертов информацию без искажения на всех этапах исследования.

Контент-анализ - количественный анализ документов с последующей статистической обработкой. В качестве объекта контент-анализа могут выступать: интернет-порталы, документы, отчеты, периодические издания и пр.

II. Процедура проведения независимой оценки качества работы Учреждений

2.1. Проведение оценки качества работы Учреждений состоит из трех этапов: организационно-подготовительного, полевого, аналитического.

2.2. Процедура организационно-подготовительного этапа включает в себя:

2.2.1. Проведение разведывательного исследования.

Разведывательное исследование используется в качестве предварительного этапа проведения независимой оценки качества работы Учреждений, в ходе которого изучается нормативно-правовая база, регламентирующая деятельность Учреждений соответствующей сферы, мнения экспертов, потребителей услуг или их представителей, информация из иных открытых источников (отраслевых изданий, статистической и ведомственной отчетности и т.п.) с целью определения предварительного перечня проблем, задач и критериев (показателей, индикаторов) для изучения.

Разведывательное исследование проводится с использованием следующих методов: нестандартизированное интервью с потенциальными респондентами, фокус-группа, "таинственный покупатель", опрос экспертов, качественный и количественный анализ (контент-анализ) документов, анализ статистической и ведомственной отчётности.

2.2.2. Определение (уточнение, дополнение) критериев, показателей и индикаторов для оценки качества работы Учреждений в соответствующей сфере.

Для проведения независимой оценки применяются критерии, показатели, индикаторы репрезентирующие (идентифицирующие) качество и эффективность работы Учреждений.

Критерии, показатели, индикаторы должны быть направлены на измерение как фактических параметров деятельности Учреждения, так и мнения потребителей услуг (их представителей) о качестве работы Учреждения.

Обязательными для оценки работы Учреждений являются критерии, характеризующие:

- открытость и доступность информации об организации;

- комфортность условий и доступность получения услуг;

- время ожидания в очереди при получении услуги;

- доброжелательность, вежливость и компетентность работников организации;

- долю получателей услуг, удовлетворенных качеством обслуживания в Учреждении.

Перечень перечисленных критериев может быть расширен, т.е. могут дополнительно использоваться иные критерии, показатели, индикаторы. Например, характеризующие уровень лояльности потребителей (Приложение N 1), репутацию и воспринимаемую ценность Учреждения, основную и финансово-экономическую деятельность Учреждения, эффективность работы персонала, в том числе уровень вовлеченности персонала и его удовлетворенности трудовой деятельностью в учреждении и т.д.

Данные, характеризующие фактические результаты деятельности Учреждений, предоставляет Общественному совету ИОГВ.

2.2.3. Разработку и утверждение программы мониторинга оценки качества работы и рейтингования Учреждений.

Программа мониторинга - документ, в рамках которого отражаются методологические и методические аспекты технологии его проведения.

Программа мониторинга включает три раздела:

1) теоретико-методологическая часть, в которой представляется формулировка и обоснование проблемы, определяется объект и предмет мониторинга, указывается цель, формулируются задачи мониторинга, производится логический анализ основных понятий;

2) методическая часть, в которой определяется обследуемая совокупность и методика её формирования (выборка), представляется характеристика используемых методов сбора первичной информации, инструментария для фиксации и сбора первичных данных;

3) процедурная часть, в которой представляется рабочий план и вспомогательные документы.

Требования и рекомендации к содержанию каждого раздела программы мониторинга изложены в Методических рекомендациях по изучению общественного мнения населения о качестве предоставления государственных услуг (работ), оказываемых (выполняемых) государственными областными учреждениями, утвержденных приказом Министерства экономического развития Мурманской области от 29.12.12 N ОД-239 (далее - Методические рекомендации), размещенных по ссылке: http://minec.gov-murman.ru/content/sector_byjet/sub01/index.html.

В программе мониторинга в рамках логического анализа основных понятий по каждому критерию представляется перечень показателей и индикаторов с описанием методик получения интегральных значений показателей па основе значений индикаторов и интегральных значений критериев на основе значений показателей. По каждому индикатору определяется метод и техника его фиксации. Пример логического анализа критерия и методики его расчёта представлен в Приложении N 2.

2.3. В ходе полевого этапа осуществляется:

2.3.1. Сбор первичных данных.

Сбор первичных данных проводится с учётом ключевых методологических и методических требований, предъявляемых к используемому методу.

Оценка качества работы Учреждений осуществляется с применением следующих методов: анкетирование (в том числе техникой Интернет-опроса) и интервьюирование (специфика применения методов представлена в Методических рекомендациях), наблюдение (в том числе "таинственный наблюдатель"), экспертный опрос, контент-анализ, фокус-группа и др.

В рамках применения конкретного метода разрабатывается соответствующий инструментарий:

- анкетирование - анкета;

- интервьюирование - бланк (план) интервью;

- наблюдение - карточка наблюдения, дневник наблюдения;

- экспертный опрос - бланк (план) опроса;

- контент-анализ - карточка контент-анализа;

- фокус-группа - гайд (сценарий) фокус-группы.

2.3.2. Сбор и анализ вторичных данных (кабинетное исследование). К вторичным данным относится: официальная и ведомственная статистика; итоги опроса общественного мнения, организованного на официальном сайте ИОГВ; материалы СМИ и интернет-источников; результаты независимой оценки качества работы учреждений, проведенной организациями, и т.д;

2.3.3. Обработка первичной информации, формирование итоговых массивов данных, расчёт интегральных значений показателей и критериев.

2.4. На аналитическом этапе обеспечивается:

- анализ значений исследуемых показателей и критериев;

- анализ динамики значений исследуемых показателей и критериев (с начала "второй волны" независимой оценки качества работы Учреждений);

- сопоставление фактических и нормативно установленных значений исследуемых параметров (при необходимости);

- расчёт интегральной оценки качества работы Учреждений и формирование рейтинга;

- систематизация и обобщение выявленных проблем деятельности Учреждений;

- выявление территориальных и иных особенностей исследуемых параметров деятельности Учреждений;

- выработка предложений по улучшению качества работы Учреждений.

2.4.1. В методике расчёта интегральной оценки качества работы Учреждения учитываются весовые коэффициенты по каждому критерию (показателю, индикатору).

2.4.2. Значения весовых коэффициентов2 устанавливаются Общественным советом с применением метода экспертных оценок. При этом больший удельный вес в интегральной оценке присваивается критериям (показатели, индикаторы), значения которых базируются на результатах опросов общественного мнения потребителей услуг о качестве работы Учреждений.

2.4.3. Для вычисления интегральной оценки, критерии (показатели, индикаторы) качества работы Учреждений приводятся к сопоставимому виду (к единому уровню измерения)3.

2.5. Рейтинг формируется путем ранжирования учреждений на основе полученных значений интегральной оценки. Учреждению, получившему наивысшую интегральную оценку качества работы, присваивается первый номер в рейтинге и далее по нисходящей.

Рейтинг Учреждений формируется при наличии в нем не менее 5 Учреждений.

2.6. По итогам проведения независимой оценки качества работы Учреждений Общественный совет разрабатывает и представляет ИОГВ, при котором он создан, предложения по улучшению качества работы Учреждений (далее - предложения Общественного совета).

2.7. ИОГВ направляет предложения Общественного совета в Учреждения, которыми разрабатывается план мероприятий по улучшению качества работы Учреждения (далее - план мероприятий) в соответствии с примерной формой плана (приложение N 3).

План мероприятий направляется на согласование в ИОГВ, осуществляющий функции и полномочия учредителя Учреждения.

2.8. ИОГВ на основе планов мероприятий, предоставленных подведомственными Учреждениями готовит сводный план мероприятий по улучшению качества работы Учреждений подведомственной сферы (далее - сводный план) (приложение N 4) и направляет его с материалами по независимой оценке качества работы (порядок проведения, программа мониторинга, итоги независимой оценки и т.п.) на согласование в Министерство экономического развития Мурманской области.

2.9. После утверждения сводного плана он размещается на официальном сайте ИОГВ в сети Интернет.

1 Критерии не обязательно должны быть раскрыты через систему показателей, в некоторых случаях содержание критерия и его значение формируется на основе индикаторов (в данном случае критерий приравнивается к показателю)

2 Значения весовых коэффициентов, как правило, находится в интервале от 0 до 1, при этом сумма значений весов коэффициентов должна равняться "1"

3 Т.к. единой размерности, например: 10-ти балльной шкале, 5-ти балльной шкале, 100% и т.п.