Методические рекомендации по подготовке дизайна аудита соответствия и аудита эффективности

(утв. Коллегией Счетной палаты РФ, протокол от 06.09.2024 № 61к (1745))

1. РАЗРАБОТАНЫ Департаментом исследований и методологии аппарата Счетной палаты Российской Федерации.

2. ДАТА ВСТУПЛЕНИЯ В СИЛУ: 6 сентября 2024 года.

3. РАЗРАБОТАНЫ впервые.

1.1. Методические рекомендации по подготовке дизайна аудита соответствия и аудита эффективности (далее — Методические рекомендации) разработаны для определения подходов и процедур, рекомендуемых к использованию в тематических контрольных или экспертно-аналитических мероприятиях Счетной палаты Российской Федерации (далее — Счетная палата), проводимых с применением аудита соответствия и (или) аудита эффективности (далее — мероприятия), на подготовительном этапе их проведения. Методические рекомендации направлены на обеспечение соблюдения положений стандартов внешнего государственного аудита (контроля) в части определения целей мероприятий (далее — цели аудита), вопросов мероприятий и разработки критериев аудита соответствия и аудита эффективности (далее — критерии аудита), включаемых в программы проведения мероприятий.

Методические рекомендации применяются при наличии решения о необходимости подготовки матрицы подготовительного этапа мероприятия (далее — матрица дизайна), принятого руководителем мероприятия по согласованию с членом Коллегии Счетной палаты, ответственным за проведение мероприятия <1>, с учетом положений пункта 1.4 Методических рекомендаций.

<1> С учетом пункта 3.1.1 стандарта внешнего государственного аудита (контроля) СГА 104 «Аудит эффективности» (далее — СГА 104) и пункта 4.1.1.3 стандарта внешнего государственного аудита (контроля) СГА 108 «Аудит соответствия» (далее — СГА 108).

1.2. Методические рекомендации подготовлены в соответствии с Федеральным законом от 5 апреля 2013 г. № 41-ФЗ «О Счетной палате Российской Федерации» с учетом положений стандартов <2> и методических документов Счетной палаты, а также профессиональных документов ИНТОСАИ для высших органов аудита <3>.

<2> Стандарт внешнего государственного аудита (контроля) СГА 101 «Общие правила проведения контрольного мероприятия» (далее — СГА 101), стандарт внешнего государственного аудита (контроля) СГА 102 «Общие правила проведения экспертно-аналитических мероприятий (далее — СГА 102), СГА 104, стандарт внешнего государственного аудита (контроля) СГА 107 „Управление качеством контрольных и экспертно-аналитических мероприятий“, СГА 108, стандарт организации деятельности Счетной палаты СОД 6 „Планирование работы Счетной палаты Российской Федерации“ (далее — СОД 6).»

<3> ISSAI 100 «Основополагающие принципы аудита государственного сектора», ISSAI 300 «Принципы аудита достижения результатов», ISSAI 3000 «Стандарт аудита достижения результатов», ISSAI 400 «Принципы аудита соответствия», ISSAI 4000 «Стандарт аудита соответствия», GUID 3910 «Основные концепции аудита достижения результатов», GUID 3920 «Процесс аудита достижения результатов».

1.3. Методические рекомендации предназначены для использования членами Коллегии Счетной палаты, инспекторами и иными сотрудниками аппарата Счетной палаты.

1.4. Положения Методических рекомендаций рекомендуется применять полностью или выборочно в одном из следующих случаев или их комбинации:

требуется уточнение гипотез, сформулированных на этапе формирования плана работы Счетной палаты на очередной год <4>;

<4> Содержание предложений в проект плана работы Счетной палаты на очередной год предусмотрено пунктом 6.4.3 СОД 6.

в рамках мероприятия планируется проведение оценки влияния достижения непосредственных результатов на достижение конечных результатов и (или) итоговых эффектов с учетом внутренних и внешних условий;

исследование предмета аудита предполагает применение сложных и (или) ранее не применявшихся методов сбора и анализа данных и информации, например, социологических исследований и (или) аналитических расчетов <5>;

<5> Понятие «аналитический расчет» определено в пункте 1.1 Методики по документированию аналитических расчетов, утвержденной Коллегией Счетной палаты Российской Федерации (протокол от 15 марта 2022 г. № 12К (1537).

в иных случаях по решению руководителя мероприятия по согласованию с членом Коллегии Счетной палаты, ответственным за проведение мероприятия, например, в связи с тем, что мероприятие проводится по поручению Президента Российской Федерации.

2.1. Дизайн аудита — система логически взаимосвязанных структурных элементов, определяющих содержание аудита соответствия или аудита эффективности (далее — структурные элементы дизайна аудита).

Подготовка дизайна аудита — процесс разработки и при необходимости корректировки структурных элементов дизайна аудита.

К структурным элементам дизайна аудита относятся:

цель аудита;

вопросы мероприятия (по цели аудита);

критерии аудита (к вопросам мероприятия);

гипотезы;

методы сбора и анализа данных, и информации, и ограничения этих методов (далее — методы);

предварительные результаты (по вопросам мероприятия);

предварительные выводы (по цели аудита);

предварительные рекомендации.

2.2. При подготовке дизайна аудита рекомендуется учитывать предложения, сформулированные на этапе формирования плана работы Счетной палаты <6> на очередной год.

<6> С учетом положений пунктов 6.4.3 и 6.4.5 СОД 6.

Результатом завершения подготовки дизайна аудита является составленная матрица дизайна <7>. Рекомендуемая форма матрицы дизайна приведена в приложении № 1 к Методическим рекомендациям.

<7> В соответствии с пунктом 5.1.2(1) СГА 101 и пунктом 4.5(1) СГА 102.

2.3. Матрица дизайна, используемая для подготовки программы и рабочего плана проведения мероприятия, подписывается руководителем мероприятия и включается в состав рабочей документации.

2.4. Руководителю мероприятия рекомендуется спланировать и организовать работы по подготовке дизайна аудита с использованием шаблона плана подготовки дизайна аудита, приведенного в приложении № 2 к Методическим рекомендациям. В случае применения всех положений Методических рекомендаций рекомендуемая продолжительность подготовки дизайна аудита составляет не менее 20 рабочих дней.

3.1. В рамках предварительного изучения предмета аудита и объектов аудита (контроля) (далее — предварительное изучение) для подготовки дизайна аудита осуществляется сбор и изучение данных и информации, которые могут быть использованы для разработки и корректировки структурных элементов дизайна аудита, в том числе раскрывающих отраслевые, региональные и иные особенности предмета аудита, внутренние условия деятельности объектов аудита (контроля), состояние внутреннего аудита, внутреннего контроля, системы управления рисками объекта аудита (контроля), а также внешней среды, в которой функционирует объект аудита (контроля).

3.2. Сбор и изучение данных и информации о предмете аудита и об объекте (объектах) аудита (контроля) осуществляется в том числе с использованием информационных систем Счетной палаты и иных информационных систем. В рамках предварительного изучения рекомендуется проводить:

3.2.1 Анализ завершенных мероприятий.

Рекомендуется составить перечень завершенных мероприятий Счетной палаты в отношении объекта аудита (контроля) в сфере предмета аудита или по схожему предмету аудита в отношении аналогичных объектов аудита (контроля) и провести анализ, в том числе:

результатов и выводов в отчетах о результатах мероприятий и заключениях, в том числе о выявленных рисках объектов аудита (контроля) и областей рисков <8>, нарушениях и недостатках системного характера <9>, а также соответствующей информации из карт итогов контрольных мероприятий;

<8> Под областью риска в соответствии с пунктом 2 раздела 2 Концепции риск-ориентированного подхода в Счетной палате Российской Федерации понимается область в сфере социально-экономического развития Российской Федерации и (или) в сфере деятельности объекта (объектов) аудита (контроля), в границах которой тенденции, процессы, прочие явления характеризуются наличием одного риска или нескольких рисков.

<9> Понятия нарушений и недостатков системного характера предусмотрены в разделе 2 СГА 101.

результатов оценки реализации государственных программ Российской Федерации, а также национальных проектов (программ), федеральных проектов, входящих в состав национальных проектов, полученных в рамках тематических мероприятий, при осуществлении последующего контроля за исполнением федерального бюджета;

требований и предложений (рекомендаций) Счетной палаты, а также текущих статусов их реализации (выполнения);

использованных ранее методов, критериев аудита;

рабочей документации (при необходимости).

Проведение анализа завершенных мероприятий позволит:

обеспечить преемственность дизайна аудита с результатами ранее проведенных мероприятий;

учесть при подготовке дизайна аудита опыт применения методов.

Также рекомендуется проводить анализ отчетов высших органов государственного аудита (контроля) иностранных государств <10>, контрольно-счетных органов субъектов Российской Федерации, федеральных территорий и муниципальных образований <11>.

<10> В случае необходимости к проведению анализа отчетов высших органов государственного аудита (контроля) иностранных государств может быть привлечен Департамент международного и регионального сотрудничества в порядке, установленном внутренними нормативными документами Счетной палаты.

<11> Запрос информации о таких отчетах может быть направлен в Департамент международного и регионального сотрудничества и иные структурные подразделения аппарата Счетной палаты.

3.2.2. Анализ законодательных и иных нормативных правовых актов Российской Федерации (далее также — нормативные документы), а также иных документов, относящихся к сфере деятельности объекта аудита (контроля) или иным образом затрагивающих данную сферу.

Анализ нормативных и иных документов позволяет:

определить перечень нормативных и иных документов и их положений, которые актуальны и представляют значимость для целей мероприятия. В перечень рекомендуется включать в том числе документы стратегического планирования;

сформировать понимание нормативного регулирования сферы деятельности объекта аудита (контроля);

разработать критерии аудита, сформулировать вопросы мероприятия и (или) гипотезы.

<12> Руководящие принципы национальных инвентаризаций парниковых газов МГЭИК 2006 г. Подготовлены Программой МГЭИК по национальным кадастрам парниковых газов. Под ред. С. Игглестона, Л. Буэндиа, К. Мива, Т. Нгара и К. Танабе. Т. 1 — 5. — ИГЕС, Япония, 2006 (http://www.ipcc-nggip.iges.or.jp/public/2006gl/russian/index.html).

3.2.3. Анализ мер государственной политики, предусмотренных государственными программами Российской Федерации, в том числе их структурными элементами <13>, а также мер, предусмотренных иными документами (далее также — мера, комплекс мер).

<13> Федеральные проекты (как входящие, так и не входящие в состав национальных проектов (программ), ведомственные проекты, комплексы процессных мероприятий, а также отдельные мероприятия структурных элементов государственных программ Российской Федерации.

Рекомендуется проводить анализ имеющихся данных и информации о мере (комплексе мер), при необходимости направлять запросы объектам аудита (контроля), иным организациям для получения следующей информации:

цели, период действия и ключевые мероприятия по реализации меры (комплекса мер);

порядок формирования ресурсов на реализацию меры (комплекса мер), объем ресурсов, охват целевых групп (выгодоприобретателей <14>) мерой (комплексом мер), иные сведения для обоснования формирования ресурсов;

<14> Понятие «выгодоприобретатели» предусмотрено подразделом 1.2 СГА 104.

ключевые изменения меры (комплекса мер) с момента начала ее реализации;

описание системы целевых показателей меры (комплекса мер), а также принципов (правил) ее формирования и использования;

условия (контекст) реализации меры (комплекса мер), например, время, место и другие условия, которые существенны для реализации меры (комплекса мер);

задачи, функции и полномочия разработчиков, ответственных исполнителей, соисполнителей и участников мер (комплексов мер) по организации целевого и эффективного использования федеральных и иных ресурсов на реализацию меры (комплекса мер), включая организацию осуществления руководства деятельностью по реализации меры (комплекса мер), а также деятельности исполнителей меры (комплекса мер), ответственных за ее (его) реализацию, соисполнителей и участников, в том числе проектных офисов и иных органов и организаций.

Анализ мер (комплексов мер) позволяет в том числе выявить потенциальные источники и причины снижения эффективности мер, риски несогласованности (противоречивости) одних мер с другими мерами (комплексами мер).

3.2.4 Обзор литературы по вопросам, актуальным для проведения аудита.

Обзор литературы проводится для получения представления о методах и результатах исследований, опубликованных в форме научных статей, книг, докладов и иных исследовательских документов, относящихся к предмету аудита. Методика проведения обзора литературы по вопросам, актуальным для проведения аудита, приведена в приложении № 3 к Методическим рекомендациям.

3.2.5 Анализ заинтересованных сторон.

Под заинтересованными сторонами для целей Методических рекомендаций понимаются пользователи информации о результатах мероприятия и выгодоприобретатели.

Рекомендуется провести анализ заинтересованных сторон с точки зрения их роли <15> и осуществления дальнейшего взаимодействия с ними в рамках подготовительного и (или) основного этапа проведения мероприятия.

<15> Полномочия, функции, задачи и т.п. заинтересованной стороны, значимые для предмета аудита.

Результаты анализа заинтересованных сторон рекомендуется документировать согласно примерной форме, приведенной в приложении № 4 к Методическим рекомендациям, и включать в состав рабочей документации <16>.

<16> Рабочая документация по мероприятию формируется в соответствии с положениями Методических указаний по формированию рабочей документации при проведении контрольных и экспертно-аналитических мероприятий с применением аудита соответствия и аудита эффективности, утвержденных Коллегией Счетной палаты (протокол от 30 ноября 2021 г. № 72К (1515).

3.2.6 Анализ материалов средств массовой информации.

Анализ материалов средств массовой информации проводится в случае необходимости получения общего представления об отражении в средствах массовой информации вопросов, связанных с предметом аудита или деятельностью объектов аудита (контроля). При этом рекомендуется учитывать, что содержание таких материалов может быть связано в том числе с субъективизмом авторов, влиянием на публикационный процесс различных факторов, а также другими причинами, влияющими на достоверность содержащейся в материалах информации. При оформлении результатов анализа материалов средств массовой информации может быть отражена наиболее важная информация с указанием источника, даты публикации, резюме материала.

3.3. Проведение предварительного изучения позволяет заблаговременно выявить наличие изменений в актуальности предмета аудита, целей аудита и гипотез, сформулированных на этапе формирования плана работы Счетной палаты на очередной год <17>, в том числе:

<17> С учетом положений пункта 6.4 СОД 6.

значимость проблем, на решение которых направлены цели аудита;

ценность потенциальных результатов.

В случае наличия изменений в актуальности предмета аудита рекомендуется инициировать рассмотрение вопроса о целесообразности внесения изменений в годовой план работы Счетной палаты.

4.1. Подготовка дизайна аудита осуществляется на основе итеративного подхода, предполагающего постепенное уточнение структурных элементов дизайна аудита с сохранением логики их взаимосвязи.

4.2. Применение итеративного подхода к подготовке дизайна аудита обусловлено связью структурных элементов дизайна аудита (например, при уточнении гипотез уточняются и методы их проверки) и получением дополнительных данных и информации в ходе работы над дизайном аудита.

4.3. Последовательность шагов при применении итеративного подхода к подготовке дизайна аудита определяется участниками мероприятия самостоятельно, в том числе в зависимости от возможности и целесообразности уточнения целей аудита, сформулированных на этапе формирования плана работы Счетной палаты на очередной год.

Если цель аудита, сформулированная на этапе формирования плана работы Счетной палаты на очередной год, не может существенно корректироваться, например, в связи с тем, что ее формулировка определена на основании обращения или поручения Президента Российской Федерации (постановления Совета Федерации, постановления Государственной Думы, обращения сенаторов Российской Федерации или депутатов Государственной Думы), то подготовка дизайна аудита в части данной цели может проводиться по схеме согласно рисунку 1 приложения № 5 к Методическим рекомендациям.

В ряде случаев цели аудита, сформулированные на этапе формирования плана работы Счетной палаты на очередной год, целесообразно уточнить, например, в связи с тем, что:

аудит проводится в малоизученной, новой для Счетной палаты области и на подготовительном этапе получена ранее неизвестная информация в сфере предмета аудита;

актуальность цели аудита изменилась к моменту проведения мероприятия, при этом формулировка наименования мероприятия позволяет уточнить цель аудита.

В таких случаях подготовка дизайна аудита в части данной цели может проводиться по схеме согласно рисунку 2 приложения № 5 к Методическим рекомендациям.

4.4. Вне зависимости от выбранной последовательности шагов при разработке и корректировке структурных элементов дизайна аудита, по итогам применения итеративного подхода к подготовке дизайна аудита рекомендуется убедиться в том, что обеспечены логические взаимосвязи структурных элементов дизайна аудита между собой и предметом аудита (рисунок 1).

Рисунок 1. Логические взаимосвязи структурных элементов дизайна аудита между собой и предметом аудита

4.5. Качество подготовки дизайна аудита рекомендуется оценивать с применением чек-листов для осуществления контроля качества контрольных и экспертно-аналитических мероприятий, разработанных Департаментом исследований и методологии и размещенных на внутреннем информационном портале Счетной палаты.

5. Особенности формулирования целей аудита

При формулировании целей аудита для подготовки дизайна аудита рекомендуется учитывать:

предмет аудита, перечень целей аудита и гипотез, предварительно сформулированных на этапе формирования плана работы Счетной палаты на очередной год (пункт 3.3 Методических рекомендаций);

результаты предварительного изучения (раздел 3 Методических рекомендаций);

информацию о рисках объектов аудита, областей рисков <18> в сфере предмета аудита, например, информацию о достижении показателей государственных программ Российской Федерации, несоответствии организации управления федеральными и иными ресурсами в финансово-бюджетной сфере положениям нормативных документов. В этом случае цель (цели) аудита формулируется (формулируются) с учетом выявленного риска или нескольких связанных рисков;

возможность сформулировать соответствующие целям аудита выводы и предложения (рекомендации) <19>;

<19> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102.

необходимость формулирования цели аудита таким образом, чтобы она была понятной, конкретной и достижимой <20>;

<20> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102.

необходимость формулирования каждой цели только по одному виду аудита (контроля) <21> таким образом, чтобы очередность целей определялась с учетом необходимой логической последовательности раскрытия предмета мероприятия;

<21> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102, подраздел 3.2 СГА 104, пункт 4.1.2 СГА 108.

6. Формулирование вопросов мероприятия, критериев аудита и гипотез

6.1 Связь вопросов мероприятия, критериев аудита

и гипотез. Виды гипотез

6.1.1. По каждой цели аудита формулируются вопросы мероприятия, направленные на ее достижение.

6.1.2. Формулирование вопросов мероприятия предполагает идентификацию того, что именно необходимо узнать о явлениях, процессах, событиях, которые являются предметом аудита или его отдельным аспектом, а также получение информации о характере связей между ними. При этом вопросы мероприятия формулируются с учетом требований СГА 101 и СГА 102 о необходимости, достаточности и взаимоисключаемости <22>.

<22> Согласно пункту 5.2.3 СГА 101, пункту 4.5 СГА 102.

6.1.3. Для каждого вопроса мероприятия разрабатывается <23> один или более критериев аудита <24>. Каждому критерию аудита соответствует только один вопрос мероприятия.

<23> В соответствии с подразделом 3.3 СГА 104, пунктом 4.1.3 СГА 108 и методических документов Счетной палаты по применению аудита эффективности и аудита соответствия.

<24> Критерии аудита соответствия могут не разрабатываться с учетом пункта 4.1.3.2 СГА 108.

6.1.5 Гипотеза может:

практически совпадать с вопросом мероприятия (иметь измененную его формулировку), если к данному вопросу не разрабатываются критерии, и детализация содержания вопроса мероприятия не требуется;

детализировать критерий аудита или вопрос мероприятия.

Необходимость детализации критерия аудита или вопроса мероприятия через гипотезы определяется на основании профессионального суждения участника мероприятия.

6.1.5. Гипотеза представляет собой утверждение, требующее получения доказательств его достоверности.

По содержанию утверждений гипотезы могут быть описательные и объясняющие.

Описательная гипотеза — утверждение о наличии факта или определенных свойств предмета аудита.

Объясняющая гипотеза — утверждение о наличии причинно-следственных связей между явлениями. Объясняющая гипотеза подразумевает наличие следствия и предполагаемой (предполагаемых) причины (причин), а также характер связи (положительная, негативная или отсутствующая) между ними и описание условий (место и временной период изучаемой связи), при которых данная связь имеет место.

Структура объясняющей гипотезы имеет вид:

[причина (причины)] [положительно/негативно/не] повлияла (повлияли) на [следствие] в [место] во [временной период]

Надлежащая гипотеза имеет следующие характеристики:

ясность — сформулирована в виде одного краткого утверждения с использованием терминов, имеющих однозначное определение;

опровергаемость — наличие возможности опровергнуть гипотезу;

ценность (новизна) — проверка гипотезы создает новое знание, представляющее значение для раскрытия вопроса мероприятия с учетом ранее накопленных фактов и опыта (например, по итогам ранее проведенных мероприятий, научных исследований и т.п.);

6.2 Разработка вопросов мероприятия, критериев аудита

6.2.1 Для разработки вопросов мероприятия, критериев аудита и гипотез участникам мероприятия рекомендуется следующее:

1. провести анализ гипотез, сформулированных на этапе формирования плана работы Счетной палаты на очередной год;

2. провести анализ результатов предварительного изучения (раздел 3 Методических рекомендаций) для выявления проблем в сфере предмета аудита и гипотез (критериев аудита, вопросов мероприятия), результаты проверки (раскрытия) которых будут направлены на решение проблем;

3. провести «мозговой штурм» для коллективной выработки идей в свободной форме;

4. использовать сервисы на базе генеративного искусственного интеллекта <25> для накопления идей на основе описания предмета аудита и обзора литературы;

<25> Генеративный искусственный интеллект — это технология искусственного интеллекта, способная генерировать текст, изображения или другие медиаданные в ответ на запрос пользователя. Примеры сервисов: GigaChat (https://developers.sber.ru/portal/products/gigachat), YandexGPT (https://ya.ru/ai/gpt-3).

5. провести интервью или круглый стол с экспертами <26> по предмету аудита. Ознакомление экспертов с предварительным перечнем гипотез позволит дополнить или скорректировать его.

<26> Интервью проводятся в соответствии с положениями Методических рекомендаций по проведению и анализу экспертных интервью, утвержденных Коллегией Счетной палаты (протокол от 4 апреля 2023 г. № 17К (1622).

6.2.2 Приоритизация вопросов мероприятия, критериев аудита и гипотез.

Приоритизацию вопросов мероприятия, критериев аудита и гипотез рекомендуется проводить для выбора наиболее ценных вопросов мероприятия, критериев аудита и гипотез. Для этого рекомендуется убедиться, что:

ответ на вопрос мероприятия, раскрытие критерия аудита или проверка гипотезы позволит получить информацию для принятия важных решений пользователями информации о результатах мероприятия;

данные для проверки гипотезы могут быть собраны; методы пригодны для проверки гипотезы (раздел 7 Методических рекомендаций), применение методов возможно с учетом навыков участников мероприятия или при помощи привлечения внешней экспертизы;

возможно проверить гипотезу, учитывая ограничения, в том числе трудовых, временных и иных ресурсов.

7.1. Для проверки схожих гипотез могут быть использованы схожие методы. Гипотеза и метод ее проверки в совокупности определяют предварительный результат проверки гипотезы.

Обобщенные формулировки связанных между собой структурных элементов дизайна (критериев аудита, гипотез, методов и предварительных результатов) в контексте различных задач в рамках мероприятий приведены в таблицах 1 - 5 настоящего раздела и могут быть адаптированы и конкретизированы в рамках подготовки дизайна аудита с учетом его особенностей.

При выборе методов для проверки гипотез в контексте различных задач в рамках мероприятий рекомендуется учитывать следующее.

7.1.1 Анализ достижения результатов

В качестве первого шага в рамках анализа достижения результатов мер (комплексов мер) может проводиться сравнительный анализ значений показателей, характеризующих непосредственные и конечные результаты, а также итоговые эффекты: сравнение плановых и фактических значений показателей, сравнение значений показателей в различные периоды, а также в различных разрезах. При этом важно учитывать, что сравнительный анализ значений показателя, характеризующего результат, не позволяет формулировать выводы о влиянии меры (комплекса мер), если достижение этого результата вызвано не только этой мерой (комплексом мер), но также и иными факторами. В таких случаях рекомендуется проведение оценки влияния (подпункт 7.1.5 Методических рекомендаций).

Выбор методов, которые используются для проверки гипотез о причинах недостижения результатов, обусловлен типом рассматриваемого результата (непосредственный или конечный результат, итоговый эффект), а также предметом аудита. Так, например, для установления причин недостижения результатов в части востребованности результатов могут быть использованы такие методы, как:

обследование для анализа возможности использования результатов (например, объектов инфраструктуры);

социологические методы для выявления мнений выгодоприобретателей о причинах невостребованности результатов;

анализ содержания нормативных и иных документов для получения информации о процессах в рамках достижения результатов.

Таблица 1

7.1.2 Оценка использования ресурсов, включая их экономность

7.1.4 Анализ процессов на предмет соответствия положениям нормативных и иных документов

Анализ процессов является частным случаем оценки соответствия деятельности объекта аудита (контроля) положениям нормативных и иных документов.

Рекомендуется учитывать, что применение различных методов при анализе процессов позволяет получить доказательства различного уровня надежности. Так, выводы о соответствии деятельности объекта аудита положениям нормативных, иных документов, сделанные только лишь на основании таких методов, как интервью и опросы, могут быть оспорены объектом аудита (контроля). При анализе процессов рекомендуется применять эти методы, в том числе для формирования предположений о наличии нарушений и (или) недостатков, а после этого при необходимости проводить сбор и анализ достаточных и надлежащих доказательств.

Рекомендуется учитывать, что наблюдение может обеспечивать получение доказательств выполнения процессов сотрудниками объекта аудита (контроля), но ограничено тем периодом времени, когда оно проводится, а также тем фактом, что само наблюдение может оказать влияние на то, каким образом сотрудники объекта аудита (контроля) выполняют процессы.

Наблюдение в комбинации со сбором и анализом документальной информации может помочь выявить несоответствие между фактической реализацией процессов и информацией, отраженной в документах объекта аудита (контроля) о процессах, что может являться необходимым обоснованием результатов и выводов мероприятия.

7.1.5 Оценка влияния

Оценка влияния проводится в рамках аудита эффективности. Оценка влияния исследует величину вклада деятельности объектов аудита (контроля) по достижению непосредственных результатов за счет использования федеральных и иных ресурсов, которая явилась причиной или, как ожидается, послужит причиной достижения конечных результатов и (или) итоговых эффектов, характеризующих стратегические цели социально-экономического развития Российской Федерации <28>.

<28> Согласно пункту 4.2.8(1) СГА 104.

Данная оценка предполагает выявление причинно-следственных связей, включая выявление существующих внешних и внутренних условий функционирования объекта аудита (контроля), а также социальных, экологических, экономических и иных последствий, целостных и устойчивых изменений в системах или нормах.

При проведении оценки влияния могут быть использованы специальные методы эконометрического анализа, которые в научной литературе объединяются в класс под общим названием «квазиэкспериментальные методы». Данные методы основаны на сравнении двух групп объектов <29> — группы объектов, на которые было оказано воздействие в результате реализации мер (она называется экспериментальной группой, или группой воздействия), и группы объектов, на которые не было оказано такого воздействия (она называется контрольной группой и служит базой для сравнения). Свойства эксперементальной группы должны быть максимально близки к свойствам контрольной группы (точный смысл такой близости определяется отдельно для каждого метода) — это требуется для отделения результата влияния, вызванного реализацией мер, от результатов воздействия других факторов.

<29> Здесь и далее в данном подпункте под объектами понимаются единицы наблюдения, на которые может оказываться воздействие в результате реализации мер — объектами в разных ситуациях могут быть, например, предприятия, домохозяйства, отдельные люди и т.п.

Выбор конкретного метода из этого класса методов зависит от имеющихся данных и исследуемой ситуации. Например:

если вероятность получения воздействия определяется характеристиками объекта, и при этом у объекта отсутствуют ненаблюдаемые характеристики, которые могут влиять на результат воздействия, то используется метод сопоставления наблюдений экспериментальной и контрольной групп. В данном методе объектам, подвергшимся воздействию, сопоставляются объекты, на которые воздействие не оказывалось. При этом сопоставление происходит по характеристикам, которые могут оказывать влияние на результат применения к ним рассматриваемой меры. Способы сопоставления могут быть различными: это может быть вероятность получения воздействия в случае сопоставления по индексу соответствия <30> либо величина «близости» объектов друг к другу по совокупности признаков при условии заранее выбранного расстояния в пространстве признаков;

<30> Пункт 2.1.2.1.6 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141175.

если до начала воздействия наблюдается параллельная динамика целевого показателя экспериментальной и контрольной групп и есть основания ожидать ее продолжения после начала воздействия, можно рассмотреть применение метода разность разностей <31>;

<31> Пункт 2.1.2.1.10 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141179.

если есть некая граница в значениях некоторого показателя, разделяющая контрольную и экспериментальную группы, можно рассмотреть применение разрывного регрессионного дизайна <32>.

<32> Пункт 2.1.2.1.9 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141178.

7.2 Рекомендуется оценивать методы в части их ограничений на предмет пригодности для проверки гипотезы (валидности):

операционная валидность отвечает на вопросы о том, действительно ли мы измеряем то, что планировали, и так, как планировали;

внутренняя валидность отвечает на вопросы о степени объяснения причинно-следственных связей;

внешняя валидность говорит о возможности распространения полученных результатов на иной, отличный от оцениваемого, контекст;

валидность статистических выводов говорит о степени корректности статистического анализа и сделанных на его основании выводов.

Для каждого типа валидности можно выделить ряд характерных потенциальных проблем согласно приложению № 6 к Методическим рекомендациям.

<*> План подготовительного этапа (план подготовки дизайна аудита) не подлежит утверждению (подписанию) и актуализируется по мере необходимости по решению руководителя мероприятия. Для формирования и поддержания в актуальном состоянии статуса реализации пунктов плана может быть использована система управления задачами (например, модуль Управление проектами и поручениями подсистемы «Ситуационный центр» комплекса программных средств «Цифровая платформа»). Последовательность этапов в рамках подготовительного этапа может быть изменена по усмотрению участников мероприятия.

Обзор литературы рекомендуется проводить в четыре шага:

Шаг 1. Определение стратегии поиска, включающей:

1. определение ключевых слов в рамках релевантных тем, то есть в рамках предмета мероприятия, предварительных целей и вопросов мероприятия;

2. определение ключевых акторов <1>, связанных с научно-исследовательской или аналитической работой по релевантной теме (ключевых исследователей, научно-исследовательских и иных организаций) предмета аудита;

<1> Ключевые акторы могут быть определены на основе таких показателей как ученая степень, ученое звание, занимаемая должность, индекс цитирования Хирша, цитируемость в СМИ, участие в конференциях и круглых столах и др.

3. определение ключевых источников информации (научных журналов, конференций, научно-исследовательских семинаров) по предмету аудита.

Шаг 2. Поиск источников. Поиск качественных (т.е. выполненных на высоком научном уровне) источников (работ) для обзора литературы осложняется большим и растущим с каждым годом количеством научных статей (каждый год в мире публикуется несколько миллионов статей в реферируемых научных журналах), аналитических докладов, а также усложнением фрагментации научных направлений. При этом пробелы в обзоре литературы могут привести к тому, что будут упущены важные и уже полученные результаты, не будут найдены подходящие методы и данные, или будут сформированы некорректные выводы по итогам обзора литературы.

Процедуры поиска литературы включают:

1. поиск статей по ключевым словам в электронных базах данных, в интернете, в библиотеках;

2. поиск информации на сайтах определенных научно-исследовательских организаций, статей исследователей, в выпусках научных журналов, информации новостей и материалов конференций на основе определенных ключевых акторов и ключевых источников информации;

3. поиск на основе цитирующих и цитируемых работ;

4. поиск на основе рекомендаций экспертов.

Рекомендуется проводить поиск с помощью специализированных поисковых систем <2>. Также могут использоваться репозитории оценок, научных исследований, рандомизированных экспериментов, содержащие результаты исследований и их обобщение по установленным критериям (при наличии).

<2> Например, Академия Google (https://scholar.google.com/) или Consensus (https://consensus.app/, использующий генеративный искусственный интеллект) по ключевым словам и текстам публикаций научных журналов, препринтов, рецензий, материалов научных конференций и семинаров и т.п. Также могут быть использованы базы данных Web of Science, Science Direct, CyberLeninka, eLibrary (https://elibrary.ru), но их содержание индексируется специализированными поисковыми системами.

При поиске работ рекомендуется обращать внимание на такие классы научных статей как:

1. обзорные статьи с описанием одной или нескольких гипотез;

2. систематические обзоры — научные обзоры ряда научных статей в рамках определенной поставленной задачи для критического анализа и обобщения (как правило, с использованием протокола, снижающего вероятность неполного обзора научного знания и вероятности системных ошибок при анализе);

3. мета-анализ — научные исследования, проводимые в целях обобщения результатов нескольких исследований с помощью статистических методов.

Кроме того, следует иметь в виду, что в научных статьях обязательно присутствует обзор литературы с описанием результатов, полученных в данной предметной отрасли на момент написания и редактирования статьи.

Следует отметить, что поиск литературы представляет собой итеративный процесс, при котором процедуры поиска могут повторяться на основе новой информации (ключевых слов, авторов, статей) и по мере погружения в тему. Поиск литературы завершается, когда процедуры поиска перестают добавлять новую информацию, и достигается максимальный охват источниками.

Шаг 3. Оценка и отбор источников (работ). На этом шаге проводится:

1. изучение результатов поиска:

с точки зрения отношения к предмету и целям аудита, вопросам мероприятия. Для этого необходимо получить представление о теме и содержании работ (часто для этого достаточно изучить аннотацию и при необходимости выводы статьи);

с точки зрения качества исследований. Как правило, с более высоким качеством исследований и, соответственно, валидностью результатов ассоциированы такие признаки, как:

рейтинг издания (научного журнала);

исследовательский рейтинг авторов научной публикации (например, индекс Хирша);

качество методов сбора и анализа данных, а также прозрачность и подробность описания методов и их ограничений;

наличие или возможность получить по запросу авторам использованные данные, а также скрипты их обработки и анализа.

Оценка валидности исследовательских методов, как правило, является достаточно сложной и требует исследовательских компетенций. При этом для целей обзора литературы качественными (валидными) работами могут быть признаны те, по которым не установлено явных ограничений по использованным методам (в этом случае работа включается в обзор).

По результатам формируется итоговый список источников, которые войдут в обзор литературы;

2. изучение наиболее ценных работ (итогового списка источников), для чего рекомендуется:

внимательно прочитать статью и выделить в ней гипотезы, описание методов сбора и анализа данных, описание данных, допущения и ограничения методов, результаты;

сопоставить результаты с другими работами по данной теме, обратить внимание на наличие или отсутствие консенсуса в результатах, проанализировать вероятные причины противоречий;

выделить наиболее подходящие для включения в обзор литературы фрагменты статей (включая краткое описание методов сбора и анализа данных, а также описание данных).

Важно, что в обзор литературы включаются не все проанализированные работы, а лишь те, исключение упоминаний о которых препятствует получению наиболее ценной информации в рамках мероприятия.

Шаг 4. Подготовка аналитической записки (справки) с обзором литературы.

В обзор включаются краткие описания результатов и выводов работ из итогового списка работ, а также контекста (временного, территориального), данных и методов сбора и анализа данных (каждая работа описывается, как правило, 3 — 8 предложениями). Так как обзор литературы предполагает критический анализ научных статей и аналитических докладов, рекомендуется проводить обзор литературы силами не менее чем двух сотрудников. Проведение критического анализа в рамках обзора литературы несколькими сотрудниками выступает формой его валидации и повышает доверие к результатам.

Проведение анализа заинтересованных сторон

Для анализа заинтересованных сторон возможно использовать следующую таблицу:

Рисунок 1. Возможная схема шагов при формулировании и уточнении структурных элементов дизайна аудита в рамках заданной цели аудита

Рисунок 2. Возможная схема шагов при формулировании и уточнении структурных элементов дизайна аудита в случае корректировки цели (целей) аудита

1. Точность и процессы измерения (операционная валидность)

1.1. При соблюдении операционной валидности собираемые данные позволяют измерить то, что планировалось измерить (для количественных данных) или отражают понятия и явления, которые планировалось изучить (для качественных данных).

1.2 Возможные проблемы операционной валидности:

1. проблема некорректной операционализации возникает в ситуации недостаточности знаний об интересующей характеристике предмета, когда данная характеристика не поддается измерению, или это измерение затруднено (например, ввиду того, что издержки измерения высоки). В этих случаях могут использовать так называемые прокси-показатели, которые служат показателем-заменителем, наилучшей альтернативой для измерения. Например, показатель ВВП на душу населения является прокси-показателем экономического благосостояния и качества жизни;

2. проблема преднамеренного введения в заблуждение возникает, когда представитель источника информации (например, автор ответа на запрос Счетной палаты или респондент) намеренно искажает факты, чтобы скрыть проблему или защитить себя;

3. проблема непреднамеренного введения в заблуждение возникает в результате ошибки воспоминаний (например, при прошествии длительного периода времени после того, как произошло исследуемое событие) или несвоевременного обновления данных;

4. проблема стремления к социальной приемлемости и дискомфорта при оценке при передаче данных о себе в случае, когда это является некомфортным или даже неприемлемым для определенных групп;

5. проблема отложенного эффекта возникает в ситуации, когда эффекты реализуются позднее момента их измерения (то есть тогда, когда измерение проводится преждевременно);

6. изменение определений и методик расчета. Переопределение понятий или способов расчета показателей делает данные, собранные в различные периоды времени или на различных территориях, несопоставимыми;

7. искажение, связанное с использованием одного метода — использование только одного метода для сбора данных о явлении (например, самооценка);

8. отсутствие понимания культурного контекста — невозможность корректной интерпретации понятий и результатов измерений без учета точек зрения участников программы;

9. проблема возможности неоднозначного восприятия возникает, когда вопросы слишком сильно зависят от субъективных оценок значения вариантов ответа. Вопросы, в которых респондентам предлагается провести различие между прилагательными, которые могут интерпретироваться по-разному, приводят к несопоставимым ответам;

10. ресурсное ограничение возможности сбора и ввода данных. Высокая рабочая нагрузка и (или) отсутствие технических возможностей могут привести к разрозненности практик сбора и ввода данных у разных сотрудников (например, сотрудников объекта аудита (контроля), в разных местах;

11. недостаточная профессиональная подготовка сборщиков данных. Недостаточная подготовка сборщиков данных, интервьюеров, наблюдателей и (или) кодировщиков может сделать сбор и ввод данных недостаточно надежными.

2. Утверждения о причинно-следственных связях (внутренняя валидность)

2.1. Внутренняя валидность отражает то, в какой степени наблюдаемые результаты обусловлены рассматриваемыми причинами.

2.2 Возможные проблемы внутренней валидности:

1. вмешательство иных событий. Наблюдаемые изменения связаны не только с мерой, а с каким-либо иным фактором или произошедшим событием. При этом мера может не быть ключевым фактором, повлиявшим на изменения;

2. отсутствие учета социокультурных особенностей;

3. изменения во времени. Наблюдаемые изменения обусловлены не мерой, а тем, что участники меры (граждане, организации) меняются со временем (взрослеют, развиваются и т.д.);

4. мера реализована не полностью. Оценка меры может быть преждевременной, если какие-либо факторы (например, нехватка ресурсов, ошибки процессов) привели к проблемам реализации или неполной реализации меры;

5. регрессия к среднему. Наблюдаемый результат меры может быть связан с тем, что она применялась к получателям, ранее продемонстрировавшим некоторые экстремальные значения показателя (например, очень низкие финансовые показатели для организаций), которые получились такими из-за сложившихся внешних обстоятельств. При этом при отсутствии меры получатели могли бы продемонстрировать улучшение показателя исключительно в силу того, что прошлое наблюдение оказалось «случайно плохим», и в реальности значение показателя лежит намного ближе к среднему по всей генеральной совокупности. Поскольку деятельность экономических агентов подвержена воздействию большого количества случайных внешних факторов, такое поведение характерно для многих экономических и финансовых показателей, и приписывать в таком случае изменение только воздействию реализованной меры некорректно;

6. смещение отбора. Наблюдаемые изменения обусловлены существовавшими ранее различиями между участниками в экспериментальной и контрольной группах, а не мерой;

7. некорректное установление направления причинно-следственного влияния. Отсутствие ясности в отношении того, какой показатель изменился первым, может привести к ошибке определения того, какой показатель является причиной, а какая следствием. Кроме того, возможна ситуация, когда оба показателя влияют друг на друга (показатель X влияет на показатель Y, а показатель Y — на показатель X);

8) эффект смешивания последствий нескольких мер возникает в условиях реализации нескольких мер одновременно, что делает сложным обособленную оценку каждого из эффектов.

3. Возможность обобщения (внешняя валидность)

3.1. Внешняя валидность определяет, в какой степени можно распространить полученные результаты на объекты (группы участников, контексты или обстоятельства), выходящие за рамки анализируемых.

Возможные проблемы внешней валидности:

1. последствия отбора. Результаты оценки меры могут быть применимы только к анализируемым участникам или контексту.

Смещение при отборе по превосходству или по тяжести проблем.

Смещение при отборе по превосходству возникает при анализе успешных практик реализации меры, так как характеристики этих практик могут повышать шансы на получение более высокого целевого результата меры. Смещение при отборе по тяжести проблем возникает при анализе проблемных аспектов реализации меры, когда отбор проводится на основе факторов тяжести проявления проблемы.

Смещение при отборе по доступности возникает при анализе практик реализации меры на основе доступности для анализа (например, территориальной близости, готовности респондентов к взаимодействию и т.д.).

Отбор по объемам финансирования, по охвату выгодоприобретателей также может приводить к смещенным результатам, так как из фокуса внимания выпадают объекты с отсутствием финансирования в данной области (низким/высоким охватом получателей), что может оказывать влияние на результаты анализа;

2. временные эффекты. Смещение может возникать при использовании данных, которые относятся к периоду, нерелевантному исследуемой проблеме;

3. географические эффекты. Смещение может возникать при проведении оценки в определенном регионе или в определенном контексте, из-за чего результаты оценки не могут быть распространены на другие условия.

4. Валидность статистических выводов

Возможные проблемы валидности статистических выводов:

1. нерепрезентативность выборки. В случае отсутствия репрезентативности результаты, полученные с использованием выборки (например, выборки объектов аудита (контроля), регионов, муниципалитетов, проектов, отдельных документов и т.д.), не могут быть использованы для общих выводов для генеральной совокупности;

2. слишком малый объем выборки. Следствием слишком малого объема выборки может быть статистическая незначимость эффекта, несмотря на его наличие. Кроме того, для малых объемов выборки добавление или исключение даже одного наблюдения может приводить к значительным изменениям в количественных оценках;

3. применение статистических методов, непригодных для имеющихся данных (в частности, для имеющегося типа данных). Применение методов, не пригодных для определенного типа данных, может приводить к некорректным результатам;

4. нарушение условий применения статистического метода. Применение статистического метода с нарушением его предположений может быть причиной неверных или незначимых результатов;

5. проблемы измерений. Проблемы измерений могут включать в себя ошибки при измерениях, ненадежность прокси-показателей, ограниченность пределов измерения;

6. ошибки спецификации. Невключение важных показателей в модель, либо включение неважных.