Методические рекомендации оценки достоверности, полноты и точности данных, используемых при расчете показателей результативности и эффективности контрольно-надзорной деятельности

(утв. протоколом заседания проектного комитета от 09.11.2017 № 73(13))

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ

Общие положения

В рамках реализации приоритетной программы «Реформа контрольной и надзорной деятельности» (далее — приоритетная программа) необходимо сформировать новые улучшенные способы получения информации о целевых группах населения и предпринимателях, объектах контроля и состоянии подконтрольной среды, а именно обеспечить качество собираемых данных.

Целями формирования новых подходов являются получение достоверных и точных данных для их дальнейшего использования в контрольно-надзорной деятельности, создание возможности по их передаче между контрольно-надзорными ведомствами, что потребует унификации подходов к обеспечению их качества.

Задачи методических рекомендаций оценки достоверности, полноты и точности данных, используемых при расчете показателей результативности и эффективности контрольно-надзорной деятельности (далее — методические рекомендации) заключаются в выявлении основных пробелов в разрабатываемой ведомственной статистике, существующих в системах сбора и обработки данных.

В настоящих методических рекомендациях приведены следующие основные понятия, характеризующие качество собираемых данных.

Достоверность — сбор данных из первоисточника информации или их получение от органов власти, осуществляющих сбор данных непосредственно от первоисточника информации или организаций, осуществляющих введение реестров с необходимыми данными, при наличии стандартов сбора данных и их агрегирование, а также незаинтересованность источника информации в ее содержании. Существует подтверждение, что данные не были изменены при выполнении какой-либо операции над ними, будь то передача, хранение или публикация.

Точность — осуществление контроля качества сбора и формирования данных, а также приведение перечней допущений по использованию собираемых данных. В описании данных должны быть указаны их основные характеристики: охват, период сбора, периодичность обновления.

Полнота — при сборе данных охвачены все контрагенты, информация от которых должна быть получена, или в соответствующей методике указаны исключения из собираемой информации.

Дополнительные термины, используемые в настоящих методических рекомендациях:

административные данные — используемая при формировании официальной статистической информации документированная информация, получаемая федеральными органами государственной власти, иными федеральными государственными органами, органами государственной власти субъектов Российской Федерации, иными государственными органами субъектов Российской Федерации, органами местного самоуправления, государственными организациями в связи с осуществлением ими разрешительных, регистрационных, контрольно-надзорных и других административных функций, а также иными организациями, на которые осуществление указанных функций возложено законодательством Российской Федерации;

качество данных — характеристика данных, при которой они соответствуют установленным понятиям точности, достоверности и полноты и могут быть использованы для целей, в рамках которых они формировались;

агрегированные данные — данные, полученные путем присоединения различных данных в общую совокупность на основании установленных принципов ее формирования;

форма сбора информации — форма, утвержденная нормативным актом, содержащая основные поля для сбора информации и их описание;

(общий, собираемый, итоговый) файл данных — совокупность агрегированных данных по всем источникам по определенному принципу;

независимые источники данных — источники данных, не заинтересованные в результатах использования данных или у которых отсутствует «конфликт интересов» по собираемым данным;

деперсонализация данных — регламентированный процесс обезличивания персональных данных, необходимый для возможности их дальнейшего использования в статистических целях без ограничений, накладываемых на персональные данные;

территориальные параметры сбора данных — определенные на этапе сбора данных критерии отнесения информации по географическим границам или иным видам географического или административного деления в целях возможности дальнейшего сопоставления полученных данных;

период сбора — указывает период времени (год, полугодие, месяц и т.д.), необходимый для сбора данных, корректно отражающий процесс, информацию или сферу, характеристики которой будут рассматриваться при анализе данных.

Наличие, качество и иные характеристики используемых данных зависят в том числе от нескольких факторов, наиболее важными из которых являются:

1. законодательные и нормативно-правовые ограничения;

2. имеющиеся технические, коммуникационные и информационные ресурсы, в том числе базы данных;

3. используемые стандарты и методологические подходы к разработке ведомственной отчетности.

Существуют и другие факторы, которые могут негативно повлиять на сбор данных:

• компетентность персонала;
• конфликты интересов (те, кто собирает данные, также «оцениваются» на основе данных);
• институциональные стимулы (если достижение определенных уровней данных показателей влияет на бюджет или оценку эффективности агентства);
• технические трудности в надежном обнаружении измерения.

При анализе качества данных необходимо изучить каждый элемент данных, который планируется использовать в рамках управления контрольно-надзорной деятельностью.

Кроме того, необходимо внедрить непрерывную или периодическую оценку качества входящих данных. Эта оценка заключается в применении дополнительных гарантий и контроля при получении данных, сравнении с другими источниками или выборочных последующих исследованиях.

Содержание процедуры оценки данных

В рамках оценки качества данных федеральными органами исполнительной власти — участниками реализации приоритетной программы (далее — участники программы) проводится предварительная оценка качества, постоянная оценка и проводятся мероприятия по корректировке качества собираемых данных.

Предварительная оценка проводится согласно настоящим методическим рекомендациям в сроки, установленные приоритетной программой. Предварительная оценка проводится участниками программы не позднее 10 декабря 2017 г.

Результаты оценки прикрепляются при предоставлении отчетности по соответствующим контрольным точкам сводного плана приоритетного проекта «Внедрение системы оценки результативности и эффективности контрольно-надзорной деятельности» в автоматизированной информационной системе контрольно-надзорной деятельности (далее — АИС КНД).

Результаты предварительной оценки качества данных направляются в Проектный комитет приоритетной программы до 31 декабря 2017 года в соответствии с контрольной точкой 2.5 приоритетной программы.

Постоянная оценка проводится участниками программы раз в год, не позднее 25 марта, следующего за окончанием периода. Результаты постоянной оценки используются участниками программы при анализе качества данных, собираемых в рамках контрольно-надзорной деятельности. Для показателей, частота сбора сведений по которым превышает годовой период, может быть установлена отличная от рекомендуемой периодичность проведения проверки качества данных.

В целях систематизации проведения оценки качества данных участником программы составляется план проведения проверки качества данных в соответствии с приложением 2 к настоящим методическим рекомендациям.

Кроме того, участниками программы могут проводиться иные мероприятия по проверке качества данных, например использование статистических методов, процедур контроля качества и правил редактирования поступающих данных, независимой оценки качества данных и др.

Предварительная и постоянная оценка проводится в соответствии с формой сбора информации (Приложение 1 к настоящим методическим рекомендациям).

Оценка проводится центральным аппаратом участника приоритетной программы.

Оценка проводится в отношении всех агрегированных данных, поступающих от территориальных подразделений или иных контрагентов (в разрезе форм сбора информации по ним, утвержденных нормативными актами ведомств или Росстата). На одну форму сбора информации участником программы предоставляется одна заполненная форма оценки качества данных.

Оценке подлежат все показатели в разрезе видов контрольно-надзорной деятельности, включенные в перечни показателей результативности и эффективности, утвержденные в соответствии с распоряжением Правительства Российской Федерации от 17 мая 2016 г. № 934-р.

Рекомендации по продолжению работы по управлению данными для контрольно-надзорной деятельности

Использование настоящих методических рекомендаций целесообразно для любого ведомства, рассматривающего возможность повышения качества управления данными, а также для тех, кто уже реализует такие программы.

Прежде всего, ведомству следует обращать внимание на выявление существующих потребностей сбора административных данных и статистики, а также выявление основных пробелов в разрабатываемой ведомственной статистике, существующих в системах сбора и обработки данных.

Следует учитывать следующие направления и проекты в рамках сбора статистической и административной информации.

Во-первых, направление по сокращению перечня запрашиваемых сведений у субъектов контроля, формируемых в рамках работы по пересмотру обязательных требований.

Во-вторых, сокращение внутриведомственных форм отчетности в целях оптимального использования ресурсов.

В-третьих, проводимая Минэкономразвития России совместно с федеральными органами исполнительной власти работа по межведомственному взаимодействию.

И, в-четвертых, проводимая Минкомсвязи России работа по формированию электронных личных кабинетов и ИТ-инфраструктуры взаимодействия контрольно-надзорных органов.

Система результатов, показателей результативности контрольно-надзорной деятельности и их целевых (пороговых) значений должна быть сформирована исходя из принципа обеспечения объективности используемых для их расчета данных.

Основные методы сбора данных для оценки результативности и эффективности контрольно-надзорной деятельности:

• репрезентативное социологическое исследование и иные количественные методы оценки (статистические данные, социологические опросы, фокус группы, глубинные интервью и иные обследования бизнеса);
• ведомственные запросы информации от подконтрольных субъектов;
• получение данных из ведомственных информационных систем или учет иных административных данных.

При этом следует отметить, что для первых двух источников необходимо предусматривать временные интервалы рассмотрения информации, тогда как административная информация собирается достаточно оперативно и качественно. В свою очередь обследования домашних хозяйств являются наиболее затратным способом получения информации, к которому следует прибегать только в отсутствие иных способов получения информации.

При этом в процессе анализа информации возможны совмещения информации, собранной из различных источников.

В целях расширения понимания административных данных, находящихся в распоряжении контрольно-надзорных ведомств, в том числе следует понимать следующие примеры наборов данных:

для целей регулирования (например, регистрация автотранспортных средств);

для управления различными государственными программами (например, пособия по социальному обеспечению, образование и здравоохранение);

для исполнения установленных законом требований (например, деклараций о налогообложении);

для общего анализа (например, данные ККТ);

как побочный продукт транзакций (например, данные об электронных платежах и переводах).

Административные данные также могут использоваться для статистических целей, и при этом могут быть получены важные преимущества перед прямым сбором данных. Использование таких данных в процессе анализа, в том числе, является целью настоящих методических рекомендаций.

При выборе форм сбора данных, совершенствования информационных систем и проведения их последующего анализа следует ориентироваться на следующие результаты:

• наличие статистических данных по всем подконтрольным группам и охраняемым законом ценностям, которые контролируются (вне зависимости от их масштабов и значения для государства), т.к. их динамичный характер и зависимость от внешних факторов часто приводят к их быстрому изменению;
• возможность получения дополнительных данных, если есть потенциальный источник сбора первичной информации, но для сбора статистики он не используется;
• наличие данных по определенному кругу переменных, которые позволяют анализировать или описать тот или иной вид контроля в необходимом разнообразии демографических, социальных или экономических характеристик;
• постоянство (регулярность) обновления или производства данных, что нужно для мониторинга ситуации и отслеживания перемен, которые произошли или не произошли в результате принятых мер политики;
• отдельно рассматриваются важнейшие вопросы доступа к статистике (либо ограниченного только для определенного круга специалистов, либо свободного — для всех лиц, занимающихся указанными вопросами) и ее распространения путем рассылки в другие ведомства в стране и за рубежом, публикаций в открытой или ведомственной печати, а также размещения в Интернете.

Данные, собранные и обработанные с использованием качественной методологии, должны способствовать разработке такой статистики, на основе которой можно принимать эффективные тактические и стратегические решения.

Пример данных с учетом построения матрицы факторов и классификаций получаемых данных, а также источники получения информации приведены в табл. 1.

Табл. 1 Сбор данных об иностранных гражданах на различных этапах миграционного цикла: характеристики и возможные источники

Примечание: рекомендуемые переменные выделены жирным шрифтом /\ /\ /\ /\ /\ /\ /\

В отличие от данных опроса, которые собираются в статистических целях, административные данные собираются в рамках основной деятельности и являются рутинной деятельностью ведомства.

Широкое определение качества данных означает их пригодность для использования. Различные пользователи одних и тех же данных могут по-разному оценивать их качество, поскольку административные данные собираются для определенной цели и могут иметь характеристики, которые хорошо подходят для этой цели, но недостаточны для адаптации к новым целям регулирования.

Оценка качества данных и их качественное формирование позволят производить различные отчеты, анализы и продукты из данных, которые могут быть информативными для руководителей, инспекторского состава и иных заинтересованных сторон.

При анализе качества данных стоит обратить внимание на организации, занимающиеся формированием систем работы с данными, что позволит на первых этапах правильно сформировать требования к наборам данных и их дальнейшему формированию.

Необходимо выявить для каждого конкретного ведомства концепции, определения и процедуры, лежащие в основе сбора и обработки административной информации.

Некоторые из наборов данных могут быть низкого качества и, следовательно, оказаться нецелесообразными. Например, качество классификационного кодирования (например, по роду занятий, видам промышленной деятельности, по географическому принципу) может оказаться недостаточным для некоторых статистических целей или ограничить его использование.

Долговечность источника административных данных и его непрерывный охват обычно полностью находятся в руках ведомства.

Изначальные предпосылки, такие как точность, полнота и достоверность и другие атрибуты собираемых данных, со временем могут претерпеть изменения, которые искажают временные ряды, полученные из административного источника.

Необходимо внедрить непрерывную или периодическую оценку качества входящих данных. Сохранение качества данных имеет важное значение, поскольку иные потребители не контролируют процессы их сбора. Такая оценка может состоять в применении дополнительных гарантий и контролей (например, использовании статистических методов и процедур контроля качества и правил редактирования) при получении данных, сравнении с другими источниками или выборочных последующих исследованиях.

В настоящих методических рекомендациях установлены требования к первому этапу формирования качественных данных, а именно оценке точности, достоверности, полноты, а также актуальности собираемых данных. В дальнейшем предполагается проведение анализа полученных результатов и выработка планов по обеспечению качества данных, включающие процессы определения иных потребностей в данных, их сбора, оценки их качества и передачи иным участникам.

Основные блоки оценки качества данных

I. Процесс оценки данных.

1. Утверждена ли форма сбора данных?

2. Описаны ли требования к собираемым данным?

3. Установлен ли период для сбора данных?

4. Утвержден ли порядок сбора данных и их агрегирования?

5. Установлена ли единица сбора информации, используемая для сбора всех данных?

6. Установлен ли перечень участвующих в сборе данных контрагентов?

7. Установлена ли периодичность сбора данных (например: ежедневно, ежеквартально, к определенной дате)?

8. Установлен ли «базовый период расчета», по которому данные оцениваются?

9. Подготовлены и используются ли перечни исключений по внесению информации в общий файл данных?

10. Данные собираются подразделениями органа власти (подведомственными организациями)?

11. Данные собираются из независимых источников (данные получены от региональных или муниципальных органов, МФЦ или иных организаций)?

12. При формировании и сборе данных проводится контроль качества данных (автоматическая проверка, соблюдение форматно-логического, междокументального контролей, сопоставительный анализ с данными за прошлые отчетные периоды (на всех уровнях), в формах предусмотрены контрольные соотношения)?

II. Процесс сбора данных

13. Существует ли утвержденный порядок передачи информации из территориальных органов (иных подразделений) в центральный аппарат?

14. Разработаны ли инструкции по заполнению форм сбора данных, используемые для сбора данных?

15. Разработан ли порядок перекодировки исходных данных в целях их деперсонализации?

16. Вносятся ли в собираемый файл данных уточнения в процессе его сбора?

17. Были ли внесены изменения в порядок сбора информации с момента начала их сбора?

18. Установлены ли поправочные коэффициенты к собираемым данным с учетом изменения порядка их сбора?

19. Изменялись ли во время периода сбора территориальные параметры сбора данных?

20. Были ли существенные изменения в нормативном правовом регулировании, повлиявшие на состав респондентов за период сбора данных?

21. Проводится (проводилась) ли независимая оценка качества собираемых данных?

22. Существуют ли исключения по внесению значений собираемых данных в итоговый файл?

23. Известен ли процент не включаемых в итоговый файл данных на основании поступившей информации?

24. Существуют ли дубликаты записей в файле данных?

25. Определяется ли процент несобранных данных в разрезе доли контрагентов, не предоставивших данные в отчетном периоде?

26. Существуют ли известные источники ошибок в файле данных (например: отсутствие ответа, манипуляция, ошибки кодирования)?

27. Направляются ли поступившие от контрагентов сведения на доработку?

28. Имеется ли ведомственная автоматизированная информационная система?

29. Имеется ли соответствующее программное обеспечение местного, регионального и федерального уровней для сбора и обработки данных?

30. Происходит ли формирование данных автоматически на основании сведений, находящихся в информационных базах?