Постановление Администрации города Мурманска от 30.01.2014 N 197 "Об утверждении типового порядка организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги"
АДМИНИСТРАЦИЯ ГОРОДА МУРМАНСКА
ПОСТАНОВЛЕНИЕ
от 30 января 2014 г. № 197
ОБ УТВЕРЖДЕНИИ ТИПОВОГО ПОРЯДКА ОРГАНИЗАЦИИ ПРОВЕДЕНИЯ
НЕЗАВИСИМОЙ ОЦЕНКИ КАЧЕСТВА РАБОТЫ МУНИЦИПАЛЬНЫХ УЧРЕЖДЕНИЙ,
ОКАЗЫВАЮЩИХ СОЦИАЛЬНЫЕ УСЛУГИ
В соответствии с Указом Президента Российской Федерации от 07.05.2012 № 597 "О мероприятиях по реализации государственной социальной политики", постановлением Правительства Российской Федерации от 30.03.2013 № 286 "О формировании независимой системы оценки качества работы организаций, оказывающих социальные услуги", распоряжением Правительства Российской Федерации от 30.03.2013 № 487-Р "Об утверждении плана мероприятий по формированию независимой системы оценки качества работы организаций, оказывающих социальные услуги, на 2013 - 2015 годы", постановлением Правительства Мурманской области от 18.10.2013 № 608-ПП "О формировании независимой системы оценки качества работы государственных учреждений Мурманской области, оказывающих социальные услуги", во исполнение пункта 8 плана мероприятий по формированию независимой системы оценки качества работы муниципальных учреждений города Мурманска, оказывающих социальные услуги, утвержденного постановлением администрации города Мурманска от 30.12.2013 № 3913, постановляю:
1. Утвердить типовой порядок организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги, согласно приложению к настоящему постановлению.
2. Комитету по образованию администрации города Мурманска (Андрианов В.Г.), комитету по здравоохранению администрации города Мурманска (Кошелева Л.Н.), комитету по культуре администрации города Мурманска (Наймушина Е.Э.), комитету по физической культуре и спорту администрации города Мурманска (Андреева И.Е.) при проведении независимой оценки качества работы муниципальных учреждений города Мурманска, оказывающих социальные услуги, руководствоваться типовым порядком организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги, утвержденным пунктом 1 настоящего постановления.
3. Отделу информационно-технического обеспечения и защиты информации администрации города Мурманска (Кузьмин А.Н.) разместить настоящее постановление с приложением на официальном сайте администрации города Мурманска в сети Интернет.
4. Редакции газеты "Вечерний Мурманск" (Червякова Н.Г.) опубликовать настоящее постановление с приложением.
5. Настоящее постановление вступает в силу со дня официального опубликования.
6. Контроль за выполнением настоящего постановления возложить на заместителя главы администрации города Мурманска Левченко Л.М.
Глава
администрации города Мурманска
А.И.СЫСОЕВ
Приложение
к постановлению
администрации города Мурманска
от 30 января 2014 г. № 197
ТИПОВОЙ ПОРЯДОК
ОРГАНИЗАЦИИ ПРОВЕДЕНИЯ НЕЗАВИСИМОЙ ОЦЕНКИ КАЧЕСТВА РАБОТЫ
МУНИЦИПАЛЬНЫХ УЧРЕЖДЕНИЙ, ОКАЗЫВАЮЩИХ СОЦИАЛЬНЫЕ УСЛУГИ
1. Общие положения
1.1. Типовой порядок организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги (далее - Порядок, Учреждения соответственно), разработан в целях описания общеметодологических подходов организации проведения независимой оценки качества работы Учреждений, а также оказания методической помощи общественным советам, созданным при структурных подразделениях администрации города Мурманска, по разработке порядков оценки качества работы Учреждений.
1.2. Независимая система оценки качества работы Учреждений является институтом общественной экспертизы, регулируемым соответствующей нормативно-правовой и методической базой.
1.3. Участниками (субъектами и объектами) независимой системы оценки качества работы Учреждений являются:
- структурные подразделения администрации города Мурманска, осуществляющие реализацию муниципальной политики в сферах: образования, здравоохранения, культуры и физической культуры и спорта (далее - структурные подразделения АГМ);
- общественные советы, созданные при структурных подразделениях АГМ (далее - Общественные советы);
- Учреждения;
- потребители услуг Учреждений;
- экспертное сообщество;
- общественные и некоммерческие организации;
- попечительские (общественные, наблюдательные) советы Учреждений;
- рейтинговые агентства, средства массовой информации.
1.4. В целях настоящего Порядка используются следующие определения понятий:
- индикатор - доступная наблюдению и измерению характеристика объекта, позволяющая рассчитать значение показателя по выделенному критерию;
- нестандартизированное интервью - интервью, при котором стандартизация процесса сведена к минимуму: отсутствует заранее сформированный перечень вопросов, их формулировка и определение длительности беседы остается на усмотрение интервьюера; вместе с тем требуется тщательная подготовка интервьюера, должен быть очерчен круг вопросов, по которым необходимо собрать информацию, но без строгой их отчетности и формулировки. При проведении нестандартизированного интервью используются открытые формулировки вопросов (без вариантов ответа), полная фиксация ответов респондентов носит обязательный характер;
- фокус-группа - метод сбора и анализа информации, основанный на глубинном интервьюировании представителей целевой аудитории по определенному плану и на заранее поставленную тему в непосредственном личном контакте в специально отведенном помещении;
- "таинственный покупатель" - метод сбора информации, основанный на технике тайного включенного наблюдения и направленный на оценку потребительского рынка, полученного клиентом в процессе приобретения услуги, и измерение уровня соблюдения стандартов обслуживания клиентов сотрудниками в Учреждении. В ходе тайной проверки могут оцениваться следующие параметры: внешние и внутренние параметры здания Учреждения; наличие и доступность информации об услугах; выполнение сотрудниками норм этикета (например, приветливость, вежливость, доброжелательность), речь сотрудников (например, грамотность, понятность), выполнение сотрудниками действующих стандартов, чистота и порядок в помещении и на рабочих местах, скорость и качество обслуживания, доступность сотрудников для клиента. Метод "таинственного покупателя" реализуется путем посещения Учреждения и (или) телефонного звонка в роли клиента (по предварительно заготовленной легенде - например, желании получить ту или иную услугу представителем определенного контингента) и фиксацией (например, на диктофон) заранее определенных индикаторов с последующим заполнением формы, содержащей индикаторы и их значения;
- экспертный опрос - разновидность опроса, в ходе которого респондентами выступают компетентные лица, имеющие глубокие знания в объекте и предмете исследования. Основное значение экспертного опроса: выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надежности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов. При опросе экспертов необходимо: провести тщательный подбор экспертов с обязательной оценкой их компетентности; учитывать факторы, влияющие на суждения эксперта, создать условия для наиболее продуктивного использования экспертов в ходе исследования, сохранять полученную от экспертов информацию без искажения на всех этапах исследования;
- контент-анализ - количественный анализ документов с последующей статистической обработкой. В качестве объекта контент-анализа могут выступать: интернет-порталы, документы, отчеты, периодические издания.
2. Процедура проведения независимой оценки качества
работы Учреждений
2.1. Проведение оценки качества работы Учреждений состоит из трех этапов: организационно-подготовительного, полевого и аналитического.
2.2. Процедура организационно-подготовительного этапа включает в себя:
2.2.1. Проведение разведывательного исследования.
Разведывательное исследование используется в качестве предварительного этапа проведения независимой оценки качества работы Учреждений, в ходе которого изучается нормативно-правовая база, регламентирующая деятельность Учреждений соответствующей сферы, мнения экспертов, потребителей услуг или их представителей, информация из иных источников (например, из отраслевых изданий, статистической и ведомственной отчетности) с целью определения предварительного перечня проблем, задач и критериев (показателей, индикаторов) для изучения.
Разведывательное исследование проводится с использованием следующих методов: нестандартизированное интервью с потенциальными респондентами, фокус-группа, "таинственный покупатель", опрос экспертов, качественный и количественный анализ (контент-анализ) документов, анализ статистической и ведомственной отчетности.
2.2.2. Определение (уточнение, дополнение) критериев, показателей и индикаторов для оценки качества работы Учреждений в соответствующей сфере.
Для проведения независимой оценки применяются критерии, показатели, индикаторы, репрезентирующие (идентифицирующие) качество и эффективность работы Учреждений.
Критерии, показатели, индикаторы должны быть направлены на изменение как фактических параметров деятельности Учреждений, так и мнения потребителей услуг (их представителей) о качестве работы Учреждения.
Обязательными для оценки работы Учреждений являются критерии, характеризующие:
- открытость и доступность информации об организации;
- комфортность условий и доступность получения услуг;
- время ожидания в очереди при получении услуги;
- доброжелательность, вежливость и компетентность работников организации;
- долю получателей услуг, удовлетворенных качеством обслуживания в Учреждении.
Перечень перечисленных критериев может быть расширен, т.е. могут дополнительно использоваться иные критерии, показатели, индикаторы, например, характеризующие уровень лояльности потребителей (приложение № 1 к Порядку), репутацию и воспринимаемую ценность Учреждения, основную и финансово-экономическую деятельность Учреждения, эффективность работы персонала, в том числе уровень вовлеченности персонала и его удовлетворенности трудовой деятельностью в Учреждении.
Данные, характеризующие фактические результаты деятельности Учреждений, предоставляет Общественному совету структурное подразделение АГМ.
2.2.3. Разработку и утверждение программы мониторинга оценки качества работы и рейтингования Учреждений.
Программа мониторинга - документ, в рамках которого отражаются методологические и методические аспекты технологии ее проведения.
Программа мониторинга включает три раздела:
1) теоретико-методическая часть, в которой представляется формулировка и обоснование проблемы, определяется объект и предмет мониторинга, указывается цель, формулируются задачи мониторинга, производится логический анализ основных понятий;
2) методическая часть, в которой определяется обследуемая совокупность и методика ее формирования (выборка), представляется характеристика используемых методов сбора первичной информации, инструментария для фиксации и сбора первичных данных;
3) процедурная часть, в которой представляется рабочий план и вспомогательные документы.
В программе мониторинга в рамках логического анализа основных понятий по каждому критерию представляется перечень показателей и индикаторов. По каждому индикатору определяется метод и техника его фиксации. Пример логического анализа критерия и методика его расчета представлены в приложении № 2 к Порядку.
2.3. В ходе полевого этапа осуществляется:
2.3.1. Сбор первичных данных.
Сбор первичных данных проводится с учетом ключевых методологических и методических требований, предъявленных к используемому методу.
Оценка качества работы Учреждений осуществляется с применением следующих методов: анкетирование (в том числе техникой интернет-опроса) и интервьюирование, наблюдение (в том числе "таинственный наблюдатель"), экспертный опрос, контент-анализ, фокус-группа.
В рамках применения конкретного метода разрабатывается соответствующий инструментарий:
- анкетирование - анкета;
- интервьюирование - бланк (план) интервью;
- наблюдение - карточка наблюдения, дневник наблюдения;
- экспрессный опрос - бланк (план) опроса;
- контент-анализ - карточка контент-анализа;
- фокус-группа - гайд (сценарий) фокус-группы.
2.3.2. Сбор и анализ вторичных данных (кабинетное исследование). К вторичным данным относятся: официальная и ведомственная статистика; итоги опроса общественного мнения, организованного на официальном сайте АГМ в разделах структурных подразделений; материалы СМИ и интернет-источников; результаты независимой оценки качества работы Учреждений, проведенной организациями.
2.3.3. Обработка первичной информации, формирование итоговых массивов данных, расчет интегральных значений показателей и критериев.
2.4. На аналитическом этапе обеспечивается:
- анализ значений исследуемых показателей и критериев;
- анализ динамики значений исследуемых показателей и критериев;
- сопоставление фактических и нормативно установленных значений исследуемых параметров (при необходимости);
- расчет интегральной оценки качества работы Учреждений и формирование рейтинга;
- систематизация и обобщение выявленных проблем деятельности Учреждения;
- выявление территориальных и иных особенностей исследуемых параметров деятельности Учреждений;
- выработка предложений по улучшению качества работы Учреждений.
2.4.1. В методике расчета интегральной оценки качества работы Учреждения учитываются весовые коэффициенты по каждому критерию (показателю, индикатору).
2.4.2. Значения весовых коэффициентов <1> устанавливаются Общественным советом с применением метода экспертных оценок. При этом больший удельный вес в интегральной оценке присваивается критериям (показателям, индикаторам), значения которых базируются на результатах опросов общественного мнения потребителей услуг о качестве работы Учреждений.
--------------------------------
<1> Значения весовых коэффициентов, как правило, находятся в интервале от 0 до 1, при этом сумма значений весов коэффициентов должна равняться "1".
2.4.3. Для вычисления интегральной оценки критерии (показатели, индикаторы) качества работы Учреждений приводятся к сопоставимому виду (к единому уровню измерения) <2>.
--------------------------------
<2> Т.е. к единой размерности, например: 10-балльной шкале, 5-балльной шкале, 100 % и т.п.
2.5. Рейтинг формируется путем ранжирования Учреждений на основе полученных значений интегральной оценки. Учреждению, получившему наивысшую интегральную оценку качества работы, присваивается первый номер в рейтинге и далее по нисходящей.
Рейтинг Учреждений формируется при наличии в нем не менее 5 Учреждений.
2.6. По итогам проведения независимой оценки качества работы Учреждений Общественный совет разрабатывает и представляет структурному подразделению АГМ, при котором он создан, предложения по улучшению качества работы Учреждений (далее - предложения Общественного совета).
2.7. Структурное подразделение АГМ направляет предложения Общественного совета в Учреждения, которыми разрабатывается план мероприятий по улучшению качества работы Учреждения (далее - План мероприятий) в соответствии с примерной формой плана (приложение № 3 к Порядку).
План мероприятий направляется на согласование в структурное подразделение АГМ, осуществляющее функции и полномочия учредителя Учреждения.
2.8. Структурное подразделение АГМ на основе Планов мероприятий, предоставленных подведомственными Учреждениями, готовит сводный план мероприятий по улучшению качества работы Учреждений подведомственной сферы (далее - сводный план) (приложение № 4 к Порядку) и направляет его с материалами по независимой оценке качества работы (порядок проведения, программа мониторинга, итоги независимой оценки) на согласование в комитет по экономическому развитию администрации города Мурманска.
2.9. После утверждения сводного плана он размещается в разделе структурного подразделения АГМ на официальном сайте администрации города Мурманска в сети Интернет.
Приложение № 1
к Порядку
ПРИМЕР МЕТОДИК
ИЗМЕРЕНИЯ ЛОЯЛЬНОСТИ ПОТРЕБИТЕЛЕЙ УСЛУГ
Лояльность потребителей услуг Учреждения может быть замерена по методу NPS (Net Promoter Score) или CLI (Customer Loyalty Index).
Для вычисления NPS клиентам предлагается дать оценку по девятибалльной шкале, ответив на вопрос: "Какова вероятность того, что Вы порекомендуете учреждение (для получения услуги) своим друзьям/знакомым/коллегам?".
На основе полученных ответов потребители разделяются на сторонников (давшие оценки от 7 до 9), нейтрально настроенных (давших оценки от 4 до 6) и критиков (давшие оценки от 1 до 3). NPS строится как разность между долей сторонников и долей критиков.
CLI - это интегрированный показатель, который строится по 4 вопросам, измеряющим параметры: "готовность рекомендовать Учреждение другим" (NPS), "готовность выбрать Учреждение, даже если есть альтернативы", "желание увеличить число собственных обращений в Учреждение", "желание продолжить пользоваться услугами Учреждения в дальнейшем".
Приложение № 2
к Порядку
ПРИМЕР ЛОГИЧЕСКОГО АНАЛИЗА
КРИТЕРИЯ И МЕТОДИКИ ЕГО РАСЧЕТА
Критерий
Показатель
Индикатор
Метод/техника фиксации индикатора
К_1: открытость и доступность информации об учреждении
П_1: полнота и доступность информации на сайте учреждения
И_1.1: наличие наименования учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.2: наличие информации о лицензиях на виды деятельности, документах об аттестации и аккредитации
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.3: наличие логотипа учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.4: наличие заполненного раздела "Нормативно-правовые акты"
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.5: наличие информации о правах получателей услуг и законодательстве, регламентирующем деятельность учреждения соответствующей сферы
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.6: наличие информации об основных специалистах с краткой биографической справкой и фотографией
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.7: наличие информации обо всех отделениях учреждения, профилях работы
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.8: наличие информации об истории учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.9: наличие контактной информации: адрес, телефон, электронная почта, схема проезда
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.10: наличие новостной ленты и объявлений учреждения в актуальном состоянии
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.11: наличие фотографий внешнего вида и интерьера учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.12: удобство навигации
Анкета опроса членов Общественного совета/оценка индикатора по 9-балльной шкале
И_1.13: читабельность сайта
Анкета опроса членов Общественного совета/оценка индикатора по 9-балльной шкале
И_1.14: общее восприятие сайта (цветовая гамма, оформление, шрифт и т.д.)
Анкета опроса членов Общественного совета/оценка индикатора по 9-балльной шкале
П_2: полнота и доступность информации об услугах учреждения
...
...
П_3: наличие и доступность способов обратной связи с потребителями услуг
...
...
П_4: доля лиц, довольных системой информирования о работе учреждения
...
...
П_n: ...
...
...
Описание методики расчета интегрального значения критерия и показателей:
- в целях сопоставимости уровня измерения индикаторов их значения приводятся к 100 %. Например, для дихотомических переменных (имеющих два значения: "1" и "0"): значению "1" присваивается 100 %, значению "0" - 0 %; для переменных, измеренных по 9-балльной шкале: значению "9" присваивается 100 %, "8" - 89 %, "7" - 78 %, "1" - 12 %;
- значение критерия К_1: "открытость и доступность информации об учреждении" определяется как среднее арифметическое значений показателей (приведенных к 100-процентному уровню измерения), раскрывающих содержание критерия, и вычисляется по формуле:
К_1 = (П_1 + ... + П_n) / N;
- значение показателя П_1: "полнота и доступность информации на сайте учреждения" определяется как среднее арифметическое значений индикаторов (приведенных к 100-процентному уровню измерения), раскрывающих содержание критерия, и вычисляется по формуле:
П_1 = (И_1.1 + ... + И_1.14) / N
Приложение № 3
к Порядку
ПЛАН
МЕРОПРИЯТИЙ ПО УЛУЧШЕНИЮ КАЧЕСТВА РАБОТЫ УЧРЕЖДЕНИЯ
Наименование учреждения: ______________________________________
№ п/п
Наименование мероприятия
Основание реализации (результат независимой оценки качества)
Срок реализации
Ответственный
Результат
Показатели, характеризующие результат выполнения мероприятия
Приложение № 4
к Порядку
СВОДНЫЙ ПЛАН
МЕРОПРИЯТИЙ ПО УЛУЧШЕНИЮ КАЧЕСТВА РАБОТЫ УЧРЕЖДЕНИЙ
В СФЕРЕ ___________________________
№ п/п
Наименование мероприятия
Основание реализации (результат независимой оценки качества)
Срок реализации
Ответственный
Результат
Показатели, характеризующие результат выполнения мероприятия
------------------------------------------------------------------
АДМИНИСТРАЦИЯ ГОРОДА МУРМАНСКА
ПОСТАНОВЛЕНИЕ
от 30 января 2014 г. № 197
ОБ УТВЕРЖДЕНИИ ТИПОВОГО ПОРЯДКА ОРГАНИЗАЦИИ ПРОВЕДЕНИЯ
НЕЗАВИСИМОЙ ОЦЕНКИ КАЧЕСТВА РАБОТЫ МУНИЦИПАЛЬНЫХ УЧРЕЖДЕНИЙ,
ОКАЗЫВАЮЩИХ СОЦИАЛЬНЫЕ УСЛУГИ
В соответствии с Указом Президента Российской Федерации от 07.05.2012 № 597 "О мероприятиях по реализации государственной социальной политики", постановлением Правительства Российской Федерации от 30.03.2013 № 286 "О формировании независимой системы оценки качества работы организаций, оказывающих социальные услуги", распоряжением Правительства Российской Федерации от 30.03.2013 № 487-Р "Об утверждении плана мероприятий по формированию независимой системы оценки качества работы организаций, оказывающих социальные услуги, на 2013 - 2015 годы", постановлением Правительства Мурманской области от 18.10.2013 № 608-ПП "О формировании независимой системы оценки качества работы государственных учреждений Мурманской области, оказывающих социальные услуги", во исполнение пункта 8 плана мероприятий по формированию независимой системы оценки качества работы муниципальных учреждений города Мурманска, оказывающих социальные услуги, утвержденного постановлением администрации города Мурманска от 30.12.2013 № 3913, постановляю:
1. Утвердить типовой порядок организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги, согласно приложению к настоящему постановлению.
2. Комитету по образованию администрации города Мурманска (Андрианов В.Г.), комитету по здравоохранению администрации города Мурманска (Кошелева Л.Н.), комитету по культуре администрации города Мурманска (Наймушина Е.Э.), комитету по физической культуре и спорту администрации города Мурманска (Андреева И.Е.) при проведении независимой оценки качества работы муниципальных учреждений города Мурманска, оказывающих социальные услуги, руководствоваться типовым порядком организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги, утвержденным пунктом 1 настоящего постановления.
3. Отделу информационно-технического обеспечения и защиты информации администрации города Мурманска (Кузьмин А.Н.) разместить настоящее постановление с приложением на официальном сайте администрации города Мурманска в сети Интернет.
4. Редакции газеты "Вечерний Мурманск" (Червякова Н.Г.) опубликовать настоящее постановление с приложением.
5. Настоящее постановление вступает в силу со дня официального опубликования.
6. Контроль за выполнением настоящего постановления возложить на заместителя главы администрации города Мурманска Левченко Л.М.
Глава
администрации города Мурманска
А.И.СЫСОЕВ
Приложение
к постановлению
администрации города Мурманска
от 30 января 2014 г. № 197
ТИПОВОЙ ПОРЯДОК
ОРГАНИЗАЦИИ ПРОВЕДЕНИЯ НЕЗАВИСИМОЙ ОЦЕНКИ КАЧЕСТВА РАБОТЫ
МУНИЦИПАЛЬНЫХ УЧРЕЖДЕНИЙ, ОКАЗЫВАЮЩИХ СОЦИАЛЬНЫЕ УСЛУГИ
1. Общие положения
1.1. Типовой порядок организации проведения независимой оценки качества работы муниципальных учреждений, оказывающих социальные услуги (далее - Порядок, Учреждения соответственно), разработан в целях описания общеметодологических подходов организации проведения независимой оценки качества работы Учреждений, а также оказания методической помощи общественным советам, созданным при структурных подразделениях администрации города Мурманска, по разработке порядков оценки качества работы Учреждений.
1.2. Независимая система оценки качества работы Учреждений является институтом общественной экспертизы, регулируемым соответствующей нормативно-правовой и методической базой.
1.3. Участниками (субъектами и объектами) независимой системы оценки качества работы Учреждений являются:
- структурные подразделения администрации города Мурманска, осуществляющие реализацию муниципальной политики в сферах: образования, здравоохранения, культуры и физической культуры и спорта (далее - структурные подразделения АГМ);
- общественные советы, созданные при структурных подразделениях АГМ (далее - Общественные советы);
- Учреждения;
- потребители услуг Учреждений;
- экспертное сообщество;
- общественные и некоммерческие организации;
- попечительские (общественные, наблюдательные) советы Учреждений;
- рейтинговые агентства, средства массовой информации.
1.4. В целях настоящего Порядка используются следующие определения понятий:
- индикатор - доступная наблюдению и измерению характеристика объекта, позволяющая рассчитать значение показателя по выделенному критерию;
- нестандартизированное интервью - интервью, при котором стандартизация процесса сведена к минимуму: отсутствует заранее сформированный перечень вопросов, их формулировка и определение длительности беседы остается на усмотрение интервьюера; вместе с тем требуется тщательная подготовка интервьюера, должен быть очерчен круг вопросов, по которым необходимо собрать информацию, но без строгой их отчетности и формулировки. При проведении нестандартизированного интервью используются открытые формулировки вопросов (без вариантов ответа), полная фиксация ответов респондентов носит обязательный характер;
- фокус-группа - метод сбора и анализа информации, основанный на глубинном интервьюировании представителей целевой аудитории по определенному плану и на заранее поставленную тему в непосредственном личном контакте в специально отведенном помещении;
- "таинственный покупатель" - метод сбора информации, основанный на технике тайного включенного наблюдения и направленный на оценку потребительского рынка, полученного клиентом в процессе приобретения услуги, и измерение уровня соблюдения стандартов обслуживания клиентов сотрудниками в Учреждении. В ходе тайной проверки могут оцениваться следующие параметры: внешние и внутренние параметры здания Учреждения; наличие и доступность информации об услугах; выполнение сотрудниками норм этикета (например, приветливость, вежливость, доброжелательность), речь сотрудников (например, грамотность, понятность), выполнение сотрудниками действующих стандартов, чистота и порядок в помещении и на рабочих местах, скорость и качество обслуживания, доступность сотрудников для клиента. Метод "таинственного покупателя" реализуется путем посещения Учреждения и (или) телефонного звонка в роли клиента (по предварительно заготовленной легенде - например, желании получить ту или иную услугу представителем определенного контингента) и фиксацией (например, на диктофон) заранее определенных индикаторов с последующим заполнением формы, содержащей индикаторы и их значения;
- экспертный опрос - разновидность опроса, в ходе которого респондентами выступают компетентные лица, имеющие глубокие знания в объекте и предмете исследования. Основное значение экспертного опроса: выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надежности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов. При опросе экспертов необходимо: провести тщательный подбор экспертов с обязательной оценкой их компетентности; учитывать факторы, влияющие на суждения эксперта, создать условия для наиболее продуктивного использования экспертов в ходе исследования, сохранять полученную от экспертов информацию без искажения на всех этапах исследования;
- контент-анализ - количественный анализ документов с последующей статистической обработкой. В качестве объекта контент-анализа могут выступать: интернет-порталы, документы, отчеты, периодические издания.
2. Процедура проведения независимой оценки качества
работы Учреждений
2.1. Проведение оценки качества работы Учреждений состоит из трех этапов: организационно-подготовительного, полевого и аналитического.
2.2. Процедура организационно-подготовительного этапа включает в себя:
2.2.1. Проведение разведывательного исследования.
Разведывательное исследование используется в качестве предварительного этапа проведения независимой оценки качества работы Учреждений, в ходе которого изучается нормативно-правовая база, регламентирующая деятельность Учреждений соответствующей сферы, мнения экспертов, потребителей услуг или их представителей, информация из иных источников (например, из отраслевых изданий, статистической и ведомственной отчетности) с целью определения предварительного перечня проблем, задач и критериев (показателей, индикаторов) для изучения.
Разведывательное исследование проводится с использованием следующих методов: нестандартизированное интервью с потенциальными респондентами, фокус-группа, "таинственный покупатель", опрос экспертов, качественный и количественный анализ (контент-анализ) документов, анализ статистической и ведомственной отчетности.
2.2.2. Определение (уточнение, дополнение) критериев, показателей и индикаторов для оценки качества работы Учреждений в соответствующей сфере.
Для проведения независимой оценки применяются критерии, показатели, индикаторы, репрезентирующие (идентифицирующие) качество и эффективность работы Учреждений.
Критерии, показатели, индикаторы должны быть направлены на изменение как фактических параметров деятельности Учреждений, так и мнения потребителей услуг (их представителей) о качестве работы Учреждения.
Обязательными для оценки работы Учреждений являются критерии, характеризующие:
- открытость и доступность информации об организации;
- комфортность условий и доступность получения услуг;
- время ожидания в очереди при получении услуги;
- доброжелательность, вежливость и компетентность работников организации;
- долю получателей услуг, удовлетворенных качеством обслуживания в Учреждении.
Перечень перечисленных критериев может быть расширен, т.е. могут дополнительно использоваться иные критерии, показатели, индикаторы, например, характеризующие уровень лояльности потребителей (приложение № 1 к Порядку), репутацию и воспринимаемую ценность Учреждения, основную и финансово-экономическую деятельность Учреждения, эффективность работы персонала, в том числе уровень вовлеченности персонала и его удовлетворенности трудовой деятельностью в Учреждении.
Данные, характеризующие фактические результаты деятельности Учреждений, предоставляет Общественному совету структурное подразделение АГМ.
2.2.3. Разработку и утверждение программы мониторинга оценки качества работы и рейтингования Учреждений.
Программа мониторинга - документ, в рамках которого отражаются методологические и методические аспекты технологии ее проведения.
Программа мониторинга включает три раздела:
1) теоретико-методическая часть, в которой представляется формулировка и обоснование проблемы, определяется объект и предмет мониторинга, указывается цель, формулируются задачи мониторинга, производится логический анализ основных понятий;
2) методическая часть, в которой определяется обследуемая совокупность и методика ее формирования (выборка), представляется характеристика используемых методов сбора первичной информации, инструментария для фиксации и сбора первичных данных;
3) процедурная часть, в которой представляется рабочий план и вспомогательные документы.
В программе мониторинга в рамках логического анализа основных понятий по каждому критерию представляется перечень показателей и индикаторов. По каждому индикатору определяется метод и техника его фиксации. Пример логического анализа критерия и методика его расчета представлены в приложении № 2 к Порядку.
2.3. В ходе полевого этапа осуществляется:
2.3.1. Сбор первичных данных.
Сбор первичных данных проводится с учетом ключевых методологических и методических требований, предъявленных к используемому методу.
Оценка качества работы Учреждений осуществляется с применением следующих методов: анкетирование (в том числе техникой интернет-опроса) и интервьюирование, наблюдение (в том числе "таинственный наблюдатель"), экспертный опрос, контент-анализ, фокус-группа.
В рамках применения конкретного метода разрабатывается соответствующий инструментарий:
- анкетирование - анкета;
- интервьюирование - бланк (план) интервью;
- наблюдение - карточка наблюдения, дневник наблюдения;
- экспрессный опрос - бланк (план) опроса;
- контент-анализ - карточка контент-анализа;
- фокус-группа - гайд (сценарий) фокус-группы.
2.3.2. Сбор и анализ вторичных данных (кабинетное исследование). К вторичным данным относятся: официальная и ведомственная статистика; итоги опроса общественного мнения, организованного на официальном сайте АГМ в разделах структурных подразделений; материалы СМИ и интернет-источников; результаты независимой оценки качества работы Учреждений, проведенной организациями.
2.3.3. Обработка первичной информации, формирование итоговых массивов данных, расчет интегральных значений показателей и критериев.
2.4. На аналитическом этапе обеспечивается:
- анализ значений исследуемых показателей и критериев;
- анализ динамики значений исследуемых показателей и критериев;
- сопоставление фактических и нормативно установленных значений исследуемых параметров (при необходимости);
- расчет интегральной оценки качества работы Учреждений и формирование рейтинга;
- систематизация и обобщение выявленных проблем деятельности Учреждения;
- выявление территориальных и иных особенностей исследуемых параметров деятельности Учреждений;
- выработка предложений по улучшению качества работы Учреждений.
2.4.1. В методике расчета интегральной оценки качества работы Учреждения учитываются весовые коэффициенты по каждому критерию (показателю, индикатору).
2.4.2. Значения весовых коэффициентов <1> устанавливаются Общественным советом с применением метода экспертных оценок. При этом больший удельный вес в интегральной оценке присваивается критериям (показателям, индикаторам), значения которых базируются на результатах опросов общественного мнения потребителей услуг о качестве работы Учреждений.
--------------------------------
<1> Значения весовых коэффициентов, как правило, находятся в интервале от 0 до 1, при этом сумма значений весов коэффициентов должна равняться "1".
2.4.3. Для вычисления интегральной оценки критерии (показатели, индикаторы) качества работы Учреждений приводятся к сопоставимому виду (к единому уровню измерения) <2>.
--------------------------------
<2> Т.е. к единой размерности, например: 10-балльной шкале, 5-балльной шкале, 100 % и т.п.
2.5. Рейтинг формируется путем ранжирования Учреждений на основе полученных значений интегральной оценки. Учреждению, получившему наивысшую интегральную оценку качества работы, присваивается первый номер в рейтинге и далее по нисходящей.
Рейтинг Учреждений формируется при наличии в нем не менее 5 Учреждений.
2.6. По итогам проведения независимой оценки качества работы Учреждений Общественный совет разрабатывает и представляет структурному подразделению АГМ, при котором он создан, предложения по улучшению качества работы Учреждений (далее - предложения Общественного совета).
2.7. Структурное подразделение АГМ направляет предложения Общественного совета в Учреждения, которыми разрабатывается план мероприятий по улучшению качества работы Учреждения (далее - План мероприятий) в соответствии с примерной формой плана (приложение № 3 к Порядку).
План мероприятий направляется на согласование в структурное подразделение АГМ, осуществляющее функции и полномочия учредителя Учреждения.
2.8. Структурное подразделение АГМ на основе Планов мероприятий, предоставленных подведомственными Учреждениями, готовит сводный план мероприятий по улучшению качества работы Учреждений подведомственной сферы (далее - сводный план) (приложение № 4 к Порядку) и направляет его с материалами по независимой оценке качества работы (порядок проведения, программа мониторинга, итоги независимой оценки) на согласование в комитет по экономическому развитию администрации города Мурманска.
2.9. После утверждения сводного плана он размещается в разделе структурного подразделения АГМ на официальном сайте администрации города Мурманска в сети Интернет.
Приложение № 1
к Порядку
ПРИМЕР МЕТОДИК
ИЗМЕРЕНИЯ ЛОЯЛЬНОСТИ ПОТРЕБИТЕЛЕЙ УСЛУГ
Лояльность потребителей услуг Учреждения может быть замерена по методу NPS (Net Promoter Score) или CLI (Customer Loyalty Index).
Для вычисления NPS клиентам предлагается дать оценку по девятибалльной шкале, ответив на вопрос: "Какова вероятность того, что Вы порекомендуете учреждение (для получения услуги) своим друзьям/знакомым/коллегам?".
На основе полученных ответов потребители разделяются на сторонников (давшие оценки от 7 до 9), нейтрально настроенных (давших оценки от 4 до 6) и критиков (давшие оценки от 1 до 3). NPS строится как разность между долей сторонников и долей критиков.
CLI - это интегрированный показатель, который строится по 4 вопросам, измеряющим параметры: "готовность рекомендовать Учреждение другим" (NPS), "готовность выбрать Учреждение, даже если есть альтернативы", "желание увеличить число собственных обращений в Учреждение", "желание продолжить пользоваться услугами Учреждения в дальнейшем".
Приложение № 2
к Порядку
ПРИМЕР ЛОГИЧЕСКОГО АНАЛИЗА
КРИТЕРИЯ И МЕТОДИКИ ЕГО РАСЧЕТА
Критерий
Показатель
Индикатор
Метод/техника фиксации индикатора
К_1: открытость и доступность информации об учреждении
П_1: полнота и доступность информации на сайте учреждения
И_1.1: наличие наименования учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.2: наличие информации о лицензиях на виды деятельности, документах об аттестации и аккредитации
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.3: наличие логотипа учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.4: наличие заполненного раздела "Нормативно-правовые акты"
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.5: наличие информации о правах получателей услуг и законодательстве, регламентирующем деятельность учреждения соответствующей сферы
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.6: наличие информации об основных специалистах с краткой биографической справкой и фотографией
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.7: наличие информации обо всех отделениях учреждения, профилях работы
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.8: наличие информации об истории учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.9: наличие контактной информации: адрес, телефон, электронная почта, схема проезда
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.10: наличие новостной ленты и объявлений учреждения в актуальном состоянии
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.11: наличие фотографий внешнего вида и интерьера учреждения
Контент-анализ интернет-сайта/карточка контент-анализа с фиксацией значений: 1 - есть, 0 - нет
И_1.12: удобство навигации
Анкета опроса членов Общественного совета/оценка индикатора по 9-балльной шкале
И_1.13: читабельность сайта
Анкета опроса членов Общественного совета/оценка индикатора по 9-балльной шкале
И_1.14: общее восприятие сайта (цветовая гамма, оформление, шрифт и т.д.)
Анкета опроса членов Общественного совета/оценка индикатора по 9-балльной шкале
П_2: полнота и доступность информации об услугах учреждения
...
...
П_3: наличие и доступность способов обратной связи с потребителями услуг
...
...
П_4: доля лиц, довольных системой информирования о работе учреждения
...
...
П_n: ...
...
...
Описание методики расчета интегрального значения критерия и показателей:
- в целях сопоставимости уровня измерения индикаторов их значения приводятся к 100 %. Например, для дихотомических переменных (имеющих два значения: "1" и "0"): значению "1" присваивается 100 %, значению "0" - 0 %; для переменных, измеренных по 9-балльной шкале: значению "9" присваивается 100 %, "8" - 89 %, "7" - 78 %, "1" - 12 %;
- значение критерия К_1: "открытость и доступность информации об учреждении" определяется как среднее арифметическое значений показателей (приведенных к 100-процентному уровню измерения), раскрывающих содержание критерия, и вычисляется по формуле:
К_1 = (П_1 + ... + П_n) / N;
- значение показателя П_1: "полнота и доступность информации на сайте учреждения" определяется как среднее арифметическое значений индикаторов (приведенных к 100-процентному уровню измерения), раскрывающих содержание критерия, и вычисляется по формуле:
П_1 = (И_1.1 + ... + И_1.14) / N
Приложение № 3
к Порядку
ПЛАН
МЕРОПРИЯТИЙ ПО УЛУЧШЕНИЮ КАЧЕСТВА РАБОТЫ УЧРЕЖДЕНИЯ
Наименование учреждения: ______________________________________
№ п/п
Наименование мероприятия
Основание реализации (результат независимой оценки качества)
Срок реализации
Ответственный
Результат
Показатели, характеризующие результат выполнения мероприятия
Приложение № 4
к Порядку
СВОДНЫЙ ПЛАН
МЕРОПРИЯТИЙ ПО УЛУЧШЕНИЮ КАЧЕСТВА РАБОТЫ УЧРЕЖДЕНИЙ
В СФЕРЕ ___________________________
№ п/п
Наименование мероприятия
Основание реализации (результат независимой оценки качества)
Срок реализации
Ответственный
Результат
Показатели, характеризующие результат выполнения мероприятия
------------------------------------------------------------------