Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)

О чем здесь шла речь?

Начнем с того, что оценка программы (проекта) состоит в «систематическом сборе информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 2008).

Предположим, что некая организация выполняет проект. Оценка этого проекта может проводиться силами внешних по отношению к организации специалистов. Такую оценку называют внешней. Оценка проекта также может быть произведена силами специалистов самой организации. В этом случае её принято называть внутренней. Иногда во внутренней оценке особо выделяют самооценивание, когда проект оценивают те же люди, которые его реализуют.

Оценка проектов и программ социальной направленности начала активно развиваться в США в 60-е годы прошлого века. Требование проводить оценку было «спущено» сверху поначалу в учреждения образования, а затем и в другие сферы. Это было нововведением, и проведение оценки было исключительно уделом внешних консультантов, обладавших соответствующими компетенциями.

Вскоре стало понятно, что организациям следует развивать собственный потенциал в области оценки. В течение 10–15 лет накопился соответствующий практический опыт. На конференции Американской ассоциации оценки 1982 года развитие практики внутренней оценки стало одной из центральных тем (McClintock, 1983).

Канадец Арнольд Лав (A. J. Love, 1983) отмечал, что внутренняя оценка выполняет две основные функции: во-первых, она позволяет получить релевантную и своевременную информацию для принятия управленческих решений; а во-вторых, сам процесс проведения внутренней оценки положительно влияет и на принятие решений, и на качество работы организации. Лав предполагал, что «в течение следующих нескольких лет мы можем ожидать продолжения роста и изменений во внутренней функции оценки» (A. J. Love, 1983). Кстати, этот прогноз был опубликован за 30 лет до предсказания Джона Гаргани.

Примерно в то же время Эрнест Хаус (House, 1986) заметил, что в практике государственных организаций в США происходит переход от внешних оценок, которые проводились преимущественно университетами и частными компаниями, к внутренним оценкам, проводимым специально созданными для этого подразделениями. При этом большая часть имевшихся на тот момент публикаций относилась именно к внешней оценке. Потому выход в свет книги А. Лава «Внутренняя оценка: построение организаций изнутри» (A. J. Love, 1991) стал заметным событием. Автор этой книги является одним из самых цитируемых и по сей день, когда речь идет о внутренней оценке.

Таблица 1. Преимущества и ограничения внешней и внутренней оценки

Прошло 20 лет, и в серии «Новые направления в оценке»[23 - Издание Американской ассоциации оценки.] вышел сборник под названием «Внутренняя оценка в 21 веке». Такое вот новое старое направление…

В интервью с редактором сборника (Volkov, 2011) Арнольд Лав вспоминает, что в 90-е годы до 60 % оценок, проводившихся в США, были внутренними. При этом в разных странах внутренняя оценка развивалась по-разному. В частности, в Канаде федеральное правительство еще в конце 70-х приняло решение о том, что оценки государственных программ должны быть преимущественно внутренними, а Японское общество оценивания в 2006 году сообщило, что в их стране 99 % оценок – внутренние.

Несмотря на то, что внутренняя оценка активно внедряется во всем мире, число исследований и публикаций на эту тему и во второй декаде 21 века по-прежнему весьма ограничено (Volkov & Baron, 2011). Однако вопросы развития внутренней оценки в небольших организациях с ограниченными ресурсами обсуждаются все чаще (Baron, 2011; Rogers, McCoy, & Kelly, 2019).

Практика показывает, что внутренняя оценка благополучно сосуществует с внешней оценкой, и большинство специалистов сегодня сходится во мнении, что это не взаимоисключающие, а взаимодополняющие подходы (см. Таблицу 1).

Теперь вернемся к предсказанию Джона Гаргани (Gargani, 2012). Он предположил, что внутренняя оценка в США в течение 10 лет должна в значительной мере вытеснить внешнюю оценку. Таким образом, в 2022 году оценки программ и проектов в США по большей части должны были бы стать внутренними. Судя по всему, этого пока не произошло, но можно определенно констатировать, что внутренняя оценка развивается и в государственных, и в негосударственных организациях США, Канады, Японии и многих других стран. Не стала исключением и Россия.

ВНУТРЕННЯЯ ОЦЕНКА В РОССИИ

Не вдаваясь в исторические детали, отметим, что, в России всё началось с внешней оценки, которую «импортировали» к нам в начале 90-х вместе с программами международной помощи многочисленные зарубежные организации (Kuzmin et al., 2007). Постепенно оценку стали осваивать и российские специалисты. При этом развитие оценки шло по двум направлениям: формировался рынок услуг по проведению внешней оценки и развивалась функция внутренней оценки.

Необходимость развития собственного потенциала российских НКО в сфере оценки была продиктована, как минимум, двумя факторами: 1) требованиями финансирующих организаций и 2) необходимостью выстраивания систем управленческого контроля в связи с усложнением деятельности НКО и расширением ее масштабов (Кузьмин, 2020). Однако развитие компетенций в сфере оценки на протяжении длительного времени не было приоритетом для большинства российских НКО. Ситуация стала меняться лишь в последние годы:

• заметно вырос спрос на обучение руководителей и сотрудников НКО в сфере оценки;

• НКО научились намного эффективнее собирать и обрабатывать данные;

• в целом ряде НКО появился успешный опыт проведения внутренней оценки;

• финансирующие организации все чаще требуют от НКО предоставления аналитических отчетов;

• на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП)[24 - Ассоциация специалистов по оценке программ и политик. (2023). Режим доступа: www.eval.ru. (дата доступа: 14.02.2023).] заметен рост числа выступлений об опыте развития внутренней оценки и ее значении для качественного управления организацией.

Шесть лет тому назад, наблюдая эти процессы и сравнивая их с происходящим за рубежом, я предположил, что к 2026 году в России будет отмечаться «рост потенциала различных организаций в сфере оценки, развитие внутренней оценки и самооценивания» (Кузьмин, 2016). Похоже, что этот прогноз сбывается. Еще одно подтверждение тому – создание в 2021 году Альянса PROОЦЕНКУ[25 - Создатели Альянса – Архангельский Центр социальных технологий «Гарант», компания «Процесс Консалтинг» (Москва) и Сибирский Центр поддержки общественных инициатив (Новосибирск).] и открытие одноименного онлайнового клуба, ориентированного преимущественно на развитие внутренней оценки и самооценивания:

«Клуб PROОЦЕНКУ – это постоянно действующая онлайновая дискуссионная площадка для всех, кто интересуется оценкой. Лозунг клуба: «Интересная беседа в хорошей компании». Задача клуба – поддерживать сообщество практиков, занимающихся внедрением оценки в деятельность социально-ориентированных организаций. Для участия в заседаниях не требуется ничего кроме желания. Образование, уровень подготовки в сфере оценки, опыт практической деятельности не имеют значения»[26 - Альянс #PROОЦЕНКУ. (2022). Режим доступа: http://www.proocenku.club/. (дата доступа: 14.02.2023).].

ПРИНЦИПЫ САМООЦЕНИВАНИЯ ПРОГРАММ И ПРОЕКТОВ В НКО

АСОПП разработала и опубликовала ряд важных для развития профессии специалиста по оценке материалов. В их числе «Принципы оценки программ и политик» (АСОПП, 2017).

Принципы профессиональной деятельности рождаются из практики и определяют, как следует себя вести представителям профессии в ситуациях сложного выбора. Принципы нельзя придумать до того, как будет накоплен реальный опыт: это естественный эволюционный процесс. Когда профессия достигает определенного уровня зрелости и формируется профессиональное сообщество (ассоциация), это сообщество приходит к согласию относительно принципов. Поэтому принципы оценки программ и политик, принятые АСОПП, важны не только как руководство к действию, но и как свидетельство становления профессии специалиста по оценке в России.

Эти «принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

• Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.

• Специалист по оценке – человек, который привлекается заказчиком для ее проведения.

• Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки (АСОПП, 2017).

Рисунок 1. Самооценивание: три в одном

АСОПП предлагает руководствоваться при проведении оценки следующими принципами:

1. Ориентация на практическое использование результатов.

2. Компетентность исполнителей.

3. Корректность методологии.

4. Открытость.

5. Безопасность.

6. Адаптивность.

«Общий случай», для которого разработаны принципы АСОПП, представляет собой внешнюю оценку (см. Рис. 1).

Самооценивание программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее. Отличие этого определения от общего обозначения оценки, приведенного в начале статьи, выделено курсивом: здесь все делает сама команда проекта. Люди, реализующие проект, сами ставят задачу на проведение оценки, сами планируют проведение оценки, сами собирают данные (будучи при этом еще и важными источниками информации), сами анализируют эти данные, формулируют результаты оценки и используют их. Получается, что при самооценивании команда проекта является и заказчиком, и исполнителем, и участником оценки (см. Рис. 1).

Применимы ли принципы оценки АСОПП в ситуации самооценивания?

В 2022 году в рамках заседаний клуба PROОЦЕНКУ[27 - Видеозаписи и материалы заседаний можно найти на сайте клуба http://www.proocenku.club/.] мы провели серию обсуждений этого вопроса. В них приняли участие, в общей сложности, более 40 человек, представляющих в основном некоммерческие организации из многих регионов России.

Итоги этих обсуждений можно сформулировать так:

1. Принципы оценки, предложенные АСОПП, применимы для самооценивания НКО.

2. Краткие формулировки этих принципов также применимы для ситуации самооценивания.

3. Рекомендации по использованию принципов в практике самооценивания требуют существенной корректировки и упрощения.

Мы разработали и обсудили рекомендации для ситуации самооценивания. Так появились «Принципы самооценивания программ и проектов в НКО» (Альянс PROОЦЕНКУ, 2023). Текст этих принципов с рекомендациями по их применению приводится ниже. Полагаю, он может быть полезен любым НКО вне зависимости от их специализации.

Принцип 1. Ориентация на практическое использование результатов.

Весь процесс самооценивания должен быть ориентирован на получение полезной для вас информации.

Рекомендации: