Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022)

The proposed use of contribution analysis involves more than just a qualitative assessment of its results, but requires designing a participatory action research, which in itself is a tool for positive social change. It allows both the project organizers and its participants to have a better understanding of their own goals and ideas about the social project.

REFERENCES:

1. Vainer V. (2021). The new life of the Catalog "Social Entrepreneurship of Russia" publishing project. Positive Change. Issue 1, pp. 79–117. (in Russ.)

2. Vainer V., Nizametdinova N. (2019). Information and reference catalogue "Social Entrepreneurship in Russia. 2020" Moscow: Wowhouse. (in Russ.)

3. The Center for Technological Innovation, Institute of Social and Economic Design, National Research University Higher School of Economics. (2020, October). A study of modern foreign and Russian experience in evaluating the project activities of non-profit organizations. (in Russ.)

4. Copestake, J. G. (2014). Full guidelines for the Qualitative Impact Protocol (QUIP). (pp. 1–47). Centre for Development Studies, University of Bath.

5. Davies, R. J., & Dart, J. (2005). the 'Most Significant Change' (MSC) Technique: a Guide to Its Use.

6. Polet, F., Malaise, G., Mahieu, A., Utrera, E., Montes, J., Tablang, R., Aytin, A., Kambale, E., Luzala, S., Al-Ghoul, D., Darkhawaja, R. A., Rodriguez, R. M., Posada, M., De Ceukelaire, W., & De Vos, P. (2015). Empowerment for the Right to Health: the Use of the «Most Significant Change» Methodology in Monitoring. Health and Human Rights, 17(2), 71–82.

Исследования / Research Studies

К оценке импакта со всей строгостью. Возможности использования математических методов в измерении социального воздействия (на примере Health Insurance Subsidy Program)

Повышение доходов, улучшение образования, сокращение заболеваемости – важные направления социальных инвестиций. Будут ли эти изменения действительно достигнуты или нет, является решающим вопросом для инвестора при выборе социальной технологии или проекта для инвестиций. Однако часто руководители социальных проектов и программ сосредотачиваются на измерении непосредственных результатов (outputs), а не на оценке того, достигли ли проекты и программы своих целей (impact). В данной статье мы хотели бы осветить опыт оценки воздействия программы по субсидированию медицинских страховок – Health Insurance Subsidy Program (HISP) – и описать подходы, которые могут быть использованы для решения этой и других похожих задач.

Елена Авраменко

Эксперт проекта «Разработка модели оценки социально-экономического воздействия НКО» фонда GLADWAY, мастер Lean 6 Sigma уровня Green Belt

МЕДИЦИНСКАЯ СТРАХОВКА ДЛЯ БЕДНЫХ

Health Insurance Subsidy Program (HISP) (в пер. с англ. «программа субсидирования медицинского страхования») – программа, реализуемая в Кении, которая финансирует покупку медицинской страховки для малообеспеченных домохозяйств, проживающих в сельской местности. Такая страховка покрывает расходы, связанные с медицинским обслуживанием и лекарствами. Цель HISP состоит в том, чтобы сократить расходы бедных домохозяйств по этим статья бюджета и, в конечном счете, улучшить здоровье населения.

Реализация HISP началась в пилотном варианте. В зависимости от результатов первого этапа планировалось постепенно расширять программу. В рамках реализации пилота предполагалось сократить ежегодные расходы малообеспеченных сельских домохозяйств на здравоохранение на душу населения, в среднем, как минимум на 10 долларов США, и программа должна была сделать это в течение двух лет.

Пилот внедрялся в 100 сельских территориях. Из 4959 домохозяйств в базовой выборке, в общей сложности 2907 были зарегистрированы в HISP, и программа успешно работала в течение следующих двух лет ее пилотной реализации. Все медицинские клиники и аптеки, обслуживающие 100 деревень, принимали пациентов по программе страхования, и опросы показывали, что большинство зарегистрированных домохозяйств удовлетворены этой программой. До старта и в конце двухлетнего экспериментального периода проводился сбор оценочных данных по той же выборке из 4959 домохозяйств.

ДОКАЗАТЕЛЬСТВО ВЛИЯНИЯ

Повлияла ли HISP на личные расходы малообеспеченных домохозяйств на здравоохранение? Да, и это было доказано с помощью математических методов. Подход к оценке воздействия, использованный в рамках HISP, предполагал выбор наиболее строгого метода, с учетом особенностей проекта.

Кейс анализа результатов внедрения программы HISP предлагает нам следующее «меню» вариантов методов оценки воздействия:

• рандомизированное распределение;

• инструментальные переменные;

• проектирование разрывной регрессии;

• метод «разность разностей»;

• метод сопоставления.

Все эти подходы преследуют цель определения достоверных групп сравнения, чтобы можно было оценить истинное воздействие программы на личные расходы на здравоохранение бедных домохозяйств.

Итак, мы отталкиваемся от этапа, когда показатели оценки выбраны и детально проработаны, составлен план сбора данных и данные собраны должным образом.

Начнем рассмотрение выбранной в рамках данного кейса методологии оценки с введения концепции контрфакта (то есть факта, противоречащего гипотезе). А далее в рамках данной статьи дадим обзор первому строгому методу, предложенному HISP и испытанному на опыте оценки данной программы.

Существует две концепции, которые являются неотъемлемой частью процесса проведения точных и надежных оценок воздействия – причинно-следственных связей и контрфактов.

В первую очередь вопросы социального воздействия связаны с причинно-следственными связями, например, с поиском ответов на такие вопросы:

Улучшает ли подготовка учителей результаты тестов учащихся? Приводят ли программы дополнительного финансирования медицинских учреждений к улучшению состояния здоровья детей? Увеличивают ли программы профессионального обучения доходы слушателей?

Поиск ответов на эти вопросы может быть непростым. Например, в контексте программы профессиональной подготовки, простого наблюдения того, как доход стажера увеличивается после завершения такой программы, недостаточно для установления причинно-следственной связи. Доход стажера мог бы увеличиться, даже если бы он не проходил обучение – из-за его собственных усилий, из-за изменения условий на рынке труда или из-за из многих других факторов, которые могут повлиять на доход.

Наша задача – найти метод, который позволит установить причинно-следственную связь. Мы эмпирическим путем должны определить, в какой степени конкретная программа – и только эта программа – способствовала изменениям результата. Все посторонние факторы должны быть исключены методикой.

Ответ на основной вопрос оценки воздействия – каково влияние или причинно-следственный эффект программы (P) на интересующий результат (Y)? – дается базовой формулой оценки воздействия:

? = (Y | P = 1) ? (Y | P = 0).

Эта формула утверждает, что причинное влияние (А) программы (P) на результат (Y) представляет собой разницу между результатом (Y) с программой (другими словами, когда P = 1) и тем же результатом (Y) без программы (то есть, когда P = 0).

Например, если P обозначает программу профессиональной подготовки, а Y обозначает доход, то причинно-следственное влияние программы профессиональной подготовки (Д) представляет собой разницу между доходом человека (Y) после участия в программе профессиональной подготовки (другими словами, когда P = 1) и тем же человеком в тот же момент времени, если он или она не участвовали в программе (другими словами, когда P = 0).

Если бы это было возможно, мы бы наблюдали, какой доход имел бы один и тот же человек в один и тот же момент времени как с программой, так и без нее, так что единственным возможным объяснением любой разницы в доходах этого человека была бы программа. Сравнивая одного и того же человека с самим собой в один и тот же момент, мы бы смогли исключить любые внешние факторы, которые также могли бы объяснить разницу в результатах.

Но к сожалению, измерение одной и той же единицы в двух вариантах одновременно невозможно: в конкретный момент времени человек либо участвовал в программе, либо не участвовал.

Это называется контрфактуальной проблемой: как мы можем измерить, что произошло бы, если бы преобладали другие обстоятельства?

КОНТРОЛЬНАЯ И ЭКСПЕРИМЕНТАЛЬНАЯ ГРУППА

На практике задача оценки воздействия состоит в том, чтобы определить контрольную и экспериментальную группы, которые сходны по своим параметрам, но одна из них участвует в программе, а другая нет. Так что разница в результатах должна быть обусловлена программой

Экспериментальные и контрольные группы должны быть одинаковыми по крайней мере в трех отношениях:

1. Исходные характеристики групп должны быть идентичными. Например, средний возраст в экспериментальной группе должен быть таким же, как и в контрольной группе.

2. Фактор программы не должен влиять на контрольную группу ни прямо, ни косвенно.

3. Результаты в контрольной группе должны измениться так же, как и результаты в экспериментальной группе, если обеим группам была предоставлена программа (или нет). То есть, группы должны реагировать на программу одинаково. Например, если доходы людей в экспериментальной группе увеличились на 5000 рублей благодаря программе обучения, тогда доходы людей в группе сравнения также увеличились бы на 5000 рублей, если бы они прошли обучение.

Когда эти три условия выполняются, то только существование исследуемой программы будет объяснять любые различия в результате (Y) между двумя группами.

Вместо того, чтобы рассматривать воздействие исключительно для одного человека, более реалистично рассмотреть среднее воздействие для группы людей (Рисунок 1).

Здесь важно рассмотреть, что произойдет, если мы решим продолжить оценку без нахождения контрольной группы. Мы можем столкнуться с риском вынести неточные суждения о результатах программы, в частности, в отношении оценки контрфакта.

Такой риск существует при использовании следующих подходов: