Гражданские технологии должны были изменить общество. Открыть телефон, установить несколько приложений и сделать мир лучше – это картина идеального будущего, которое пока так и не наступило. Зато многие civic tech проекты столкнулись с разными барьерами. Оказалось, что вовлечь людей в контроль за общественными институтами непросто. Еще одна проблема – посчитать impact (влияние). Екатерина Ульянова прочитала Civictech guide и разобралась, как измерить воздействие гражданских технологий на общество и какие показатели при этом стоит учитывать
1. Все используют разные метрики
Первая причина, по которой трудно измерять воздействие гражданских технологий на общество, – отсутствие общепринятых единых метрик. Даже проекты, которые решают одни и те же проблемы, используют совершенно разные показатели, чтобы оценить свое влияние. При этом несмотря на все метрики, измерение воздействия остается довольно субъективным занятием.
Для оценки своей работы civic tech проект может использовать концепцию Lean Startup («Бережливый стартап»). Это подход, в центре которого находится пользователь с его потребностями, что помогает избежать создания ненужных приложений и платформ. Метод бережливого стартапа основан на нескольких принципах.
- Начинать нужно с создания «минимально жизнеспособного продукта» (продукт, который имеет необходимый минимум возможностей, чтобы проверить его жизнеспособность на рынке). На этом этапе не надо пытаться сделать все идеально, лучше сосредоточиться на показателях, связанных с привлечением аудитории, которая будет пользоваться проектом.
- Уже на втором этапе переходить к сбору обратной связи от пользователей: как они используют технологию, какой ожидают результат. И направлять ресурсы на доработку продукта до той стадии, когда он будет полностью отвечать потребностям целевой аудитории.
2. Команды проектов выборочно делятся информацией
Часто бывает так, что команды проектов готовы делиться информацией о влиянии разработанных ими инструментов на общество только в те моменты, когда им надо привлечь внимание СМИ или найти финансирование. После того как цель достигнута, они закрывают доступ к данным. Еще одна нередкая ситуация – команда охотно делится своими показателями, только пока они растут. Менее же впечатляющие результаты замалчиваются, несмотря на то, что на ошибках можно учиться.
Чтобы проанализировать воздействие гражданских технологий на общество, необходимо иметь точные данные за определенный период. При этом civic tech проекты не всегда представляют последовательный отчет о воздействии на граждан в течение нескольких лет. В результате у экспертов нет возможности проводить развернутые исследования.
Например, платформа для создания онлайн-петиций Change.org делает акцент на успешных историях, а не на оценке долгосрочного воздействия. А сколько петиций не закончились счастливым финалом? Команда платформы не предоставляет данные, которые позволили бы рассмотреть эффективность использования на общество в целом такого инструмента, как петиция.
3. Небольшое число пользователей civic tech проектов
У гражданских технологий есть еще один общий критерий оценки – масштабность проектов или, другими словами, количество людей, которые пользуются платформой или приложением. Обычно если это большие цифры, команда сама старается их озвучивать, например, размещая информацию о числе пользователей или решенных задач на главной странице сайта.
Но многие civic tech проекты не стремятся афишировать свою статистику. Вероятно, это происходит потому, что многие из них так и не смогли привлечь внимание пользователей. Незаинтересованность граждан – одна из проблем гражданских технологий первой волны, когда многим казалось, что достаточно создать приложение, а люди подтянутся сами. На деле же заинтересовать пользователей голым набором данных оказалось не так просто.
Может ли приложение повлиять на что-либо, если его скачивают реже, чем загружают популярную песню в iTunes? Когда мы говорим о том, что гражданские технологии призваны изменить общество, сделать государственные институты прозрачными и подотчетными, в том числе за счет вовлеченности людей в контроль за их работой, то полезно оценивать статистику в масштабе. Например, смотреть, какой процент людей от всего населения страны или города пользуются проектом.
Конечно, при этом стоит учитывать, что в случае с гражданскими технологиями число пользователей может быть не основным impact-показателем. Максимальный охват – это главная цифра для коммерческих проектов и венчурных инвесторов, которым важно вернуть вложенные средства и получить прибыль. С точки зрения воздействия civic tech проектов, важно учитывать, кто именно пользуется инструментом: журналисты, активисты, представители НКО, исследователи. Ведь для того чтобы собрать решения социальных изменений, необходимы действия людей, а не голые данные.
Еще по теме: Алексей Сидоренко: «Данные без истории и контекста граждан не интересуют»
4. У всех разные интересы
Проектам и организациям нужно отчитываться перед разными группами людей – инвесторами, пользователями, государством. Каждая из этих групп может оценивать воздействие, которое было оказано на общество, в соответствии со своими взглядами и представлениями. Это значит, что проекту будут предлагать разные критерии оценки эффективности работы.
Одной группе будет важно знать, сколько людей подписали петицию или установили приложение. Другой – какой медийный охват получил проект, как часто упоминали о нем в СМИ, сколько людей подписались на группы в социальных сетях. Поэтому в своих отчетах командам приходится учитывать тот факт, что влияние может быть оценено по-разному.
5. Оцениваются только результаты, но не инвестиции
За оценкой конечных результатов не стоит забывать о ресурсах, которые были вложены в проект. Под ресурсами стоит понимать не только деньги или гранты, но и усилия людей, потраченные на создание и продвижение продукта. В качестве примера можно рассмотреть два проекта.
Первый – социальная сеть Jumo. Создатели планировали, что Jumo станет единой платформой для некоммерческих организаций. Они получили $3,5 миллиона инвестиций, а также индивидуальный вклад НКО и пользователей, которые создавали профили. Вскоре проект был продан за $62 тысячи и пять MacBook Pro. Команда также открыла код, чтобы сообщество поддерживало сайт в рабочем состоянии, но и это не помогло.
Противоположный пример – проект Govtrack.us, который собирает данные и статистику о Конгрессе США. Сайт был запущен в 2004 году Джошуа Тауберером, который на момент создания платформы еще учился в колледже. Для старта не потребовалось никаких значительных вложений, при этом Govtrack.us до сих пор успешно работает.
6. При оценке не учитывается макросреда
Иногда успех проекта обусловлен еще и тем, что он был вовремя запущен и стал ответом на какой-либо запрос общества. Возможна и обратная ситуация, когда команда вроде бы нашла болевую точку и попыталась изменить ситуацию, но оказалась в сложных условиях. Поэтому и оценивать гражданские технологии стоит в связке с макросредой, в которой они работают, – понимать, что происходит в политической жизни города или страны, экономические факторы.
Например, в США быстро набрал популярность сервис Countable, который еще называют «политическим Тиндером». Интерфейс прост: пользователь входит в систему, используя свой почтовый индекс, находит интересующий его законопроект и голосует «да» или «нет» в зависимости от готовности поддержать документ, результаты голосования передаются чиновникам. Запуск приложения совпал по времени с началом предвыборной кампании Дональда Трампа и ростом интереса к политике среди молодежи и в целом жителей США. Это и могло стать одним из факторов успеха проекта.
7. Количественные показатели могут не соответствовать цели
Работать с количественными показателями удобнее всего. Клики, установки, публикации в СМИ – все эти KPI (Key Performance Indicator, или ключевые показатели эффективности) привычные и легко рассчитываемые. Только любые KPI могут устаревать или не соответствовать той цели, которой хочет достичь проект. Важно вовремя это понять и не измерять влияние с помощью неактуальных показателей.
Иначе можно достичь успеха по количественным показателям и не прийти ни к каким изменениям в обществе. В пример снова можно привести выборы в США, только на этот раз обратиться к опыту другого кандидата – Хиллари Клинтон. Ее команда провела успешную, с точки зрения KPI, предвыборную кампанию, они привлекли средства, заручились поддержкой волонтеров и лучших газет в стране. При этом главная цель – победить на выборах – так и не была достигнута.
8. Отраслевые исследования бывают предвзятыми
Исследования и отчеты не всегда становятся объективными источниками информации. В том числе и той, которая могла бы пригодиться для оценки влияния гражданских технологий на общество. Например, иногда исследования спонсируют сами участники отрасли. Также эксперт, который составляет документ, может иметь социальные связи с сотрудниками исследуемых проектов. Или писать отчет на основе обратной связи от наиболее активных и вовлеченных пользователей.
Еще по теме: Сivic tech – технологии, которые должны были разбудить в нас гражданскую культуру
В этом нет ничего критичного, если задача материала – в целом повысить осведомленность общества о гражданских технологиях. Потому что о civic tech на русском языке пока вышло очень мало материалов и база знаний состоит в основном из англоязычных источников. Но необъективные исследования никак не помогают самим проектам понять, оказывают ли они влияние на общество и справляются ли с поставленными целями. Поэтому работать над такого рода документами должны независимые авторы. А сами исследования – включать в себя анализ, в том числе, неудач и ошибок.
9. Трудно доказать причинно-следственную связь
Фонд Sunlight Foundation получил многомиллионное финансирование в нулевые годы. Организация провела масштабное исследование государственных контрактов, проанализировав данные, представленные на порталах Data.gov и USASpending.gov. Анализ показал, что отчетность по $1,28 трлн была несвоевременной и неполной: госструктуры либо не отчитывались по некоторым статьям расходов, либо предоставляли сомнительную информацию.
Вероятно, этот анализ, проведенный Sunlight Foundation, стал одним из поводов к принятию закона о цифровой подотчетности и прозрачности (Digital Accountability and Transparency Act, DATA Act). Этот документ задал стандарт открытости бюджетных данных для государственных органов в США. Но можно ли прямо утверждать, что закон был принят благодаря стараниям команды Sunlight Foundation? И это лишь один из показательных примеров того, что доказать причинно-следственную связь civic tech проектам непросто.
10. Невозможно оценить долгосрочные последствия
Создатели civic tech проектов предполагают, что люди будут использовать их платформы и приложения именно так, как это изначально задумывалось. На деле же гражданские технологии могут повлечь непреднамеренные последствия для общества. Например, не приводит ли прозрачность государственных институтов к росту скептицизма, в то время как предполагалось, что граждане, наоборот, будут больше взаимодействовать с властью?
Это касается не только civic tech, но и всех технологий, которые изначально разрабатывались с определенной целью, но оказалось, что у общества на них могут быть и другие планы. Миссия Facebook – сделать мир более открытым. Звучит безобидно, вот только можно ли уследить за всеми пользователями и заставить их играть по изначальным правилам. Как результат, некоторые люди используют платформу далеко не в благородных целях – мошенники, террористы, спекулянты. И вот социальная сеть – это уже не просто инструмент для поиска друзей.
Просчитать все долгосрочные последствия не всегда возможно, и оценить их получается только в историческом контексте. Но в любом случае, запуская проект, стоит подумать о перспективе и проанализировать, какое непреднамеренное влияние инструмент может оказать на общество.
