10 причин, почему сложно оценить влияние гражданских технологий на общество

Измерить воздействие гражданских технологий на общество бывает непросто. Фото Freepik.
Изме­рить воз­дей­ствие граж­дан­ских тех­но­ло­гий на обще­ство быва­ет непро­сто. Фото Freepik.

Граж­дан­ские тех­но­ло­гии долж­ны были изме­нить обще­ство. Открыть теле­фон, уста­но­вить несколь­ко при­ло­же­ний и сде­лать мир луч­ше – это кар­ти­на иде­аль­но­го буду­ще­го, кото­рое пока так и не насту­пи­ло. Зато мно­гие civic tech про­ек­ты столк­ну­лись с раз­ны­ми барье­ра­ми. Ока­за­лось, что вовлечь людей в кон­троль за обще­ствен­ны­ми инсти­ту­та­ми непро­сто. Еще одна про­бле­ма – посчи­тать impact (вли­я­ние). Ека­те­ри­на Улья­но­ва про­чи­та­ла Civictech guide и разо­бра­лась, как изме­рить воз­дей­ствие граж­дан­ских тех­но­ло­гий на обще­ство и какие пока­за­те­ли при этом сто­ит учи­ты­вать 

1. Все используют разные метрики

Пер­вая при­чи­на, по кото­рой труд­но изме­рять воз­дей­ствие граж­дан­ских тех­но­ло­гий на обще­ство, – отсут­ствие обще­при­ня­тых еди­ных мет­рик. Даже про­ек­ты, кото­рые реша­ют одни и те же про­бле­мы, исполь­зу­ют совер­шен­но раз­ные пока­за­те­ли, что­бы оце­нить свое вли­я­ние. При этом несмот­ря на все мет­ри­ки, изме­ре­ние воз­дей­ствия оста­ет­ся доволь­но субъ­ек­тив­ным заня­ти­ем.

Для оцен­ки сво­ей рабо­ты civic tech про­ект может исполь­зо­вать кон­цеп­цию Lean Startup («Береж­ли­вый стар­тап»). Это под­ход, в цен­тре кото­ро­го нахо­дит­ся поль­зо­ва­тель с его потреб­но­стя­ми, что помо­га­ет избе­жать созда­ния ненуж­ных при­ло­же­ний и плат­форм. Метод береж­ли­во­го стар­та­па осно­ван на несколь­ких прин­ци­пах.

  • Начи­нать нуж­но с созда­ния «мини­маль­но жиз­не­спо­соб­но­го про­дук­та» (про­дукт, кото­рый име­ет необ­хо­ди­мый мини­мум воз­мож­но­стей, что­бы про­ве­рить его жиз­не­спо­соб­ность на рын­ке). На этом эта­пе не надо пытать­ся сде­лать все иде­аль­но, луч­ше сосре­до­то­чить­ся на пока­за­те­лях, свя­зан­ных с при­вле­че­ни­ем ауди­то­рии, кото­рая будет поль­зо­вать­ся про­ек­том. 

  • Уже на вто­ром эта­пе пере­хо­дить к сбо­ру обрат­ной свя­зи от поль­зо­ва­те­лей: как они исполь­зу­ют тех­но­ло­гию, какой ожи­да­ют резуль­тат. И направ­лять ресур­сы на дора­бот­ку про­дук­та до той ста­дии, когда он будет пол­но­стью отве­чать потреб­но­стям целе­вой ауди­то­рии.

2. Команды проектов выборочно делятся информацией

Часто быва­ет так, что коман­ды про­ек­тов гото­вы делить­ся инфор­ма­ци­ей о вли­я­нии раз­ра­бо­тан­ных ими инстру­мен­тов на обще­ство толь­ко в те момен­ты, когда им надо при­влечь вни­ма­ние СМИ или най­ти финан­си­ро­ва­ние. После того как цель достиг­ну­та, они закры­ва­ют доступ к дан­ным. Еще одна неред­кая ситу­а­ция – коман­да охот­но делит­ся сво­и­ми пока­за­те­ля­ми, толь­ко пока они рас­тут. Менее же впе­чат­ля­ю­щие резуль­та­ты замал­чи­ва­ют­ся, несмот­ря на то, что на ошиб­ках мож­но учить­ся. 

Что­бы про­ана­ли­зи­ро­вать воз­дей­ствие граж­дан­ских тех­но­ло­гий на обще­ство, необ­хо­ди­мо иметь точ­ные дан­ные за опре­де­лен­ный пери­од. При этом civic tech про­ек­ты не все­гда пред­став­ля­ют после­до­ва­тель­ный отчет о воз­дей­ствии на граж­дан в тече­ние несколь­ких лет. В резуль­та­те у экс­пер­тов нет воз­мож­но­сти про­во­дить раз­вер­ну­тые иссле­до­ва­ния. 

Напри­мер, плат­фор­ма для созда­ния онлайн-пети­ций Change.org дела­ет акцент на успеш­ных исто­ри­ях, а не на оцен­ке дол­го­сроч­но­го воз­дей­ствия. А сколь­ко пети­ций не закон­чи­лись счаст­ли­вым фина­лом? Коман­да плат­фор­мы не предо­став­ля­ет дан­ные, кото­рые поз­во­ли­ли бы рас­смот­реть эффек­тив­ность исполь­зо­ва­ния на обще­ство в целом тако­го инстру­мен­та, как пети­ция. 

3. Небольшое число пользователей civic tech проектов

У граж­дан­ских тех­но­ло­гий есть еще один общий кри­те­рий оцен­ки – мас­штаб­ность про­ек­тов или, дру­ги­ми сло­ва­ми, коли­че­ство людей, кото­рые поль­зу­ют­ся плат­фор­мой или при­ло­же­ни­ем. Обыч­но если это боль­шие циф­ры, коман­да сама ста­ра­ет­ся их озву­чи­вать, напри­мер, раз­ме­щая инфор­ма­цию о чис­ле поль­зо­ва­те­лей или решен­ных задач на глав­ной стра­ни­це сай­та. 

Но мно­гие civic tech про­ек­ты не стре­мят­ся афи­ши­ро­вать свою ста­ти­сти­ку. Веро­ят­но, это про­ис­хо­дит пото­му, что мно­гие из них так и не смог­ли при­влечь вни­ма­ние поль­зо­ва­те­лей. Неза­ин­те­ре­со­ван­ность граж­дан – одна из про­блем граж­дан­ских тех­но­ло­гий пер­вой вол­ны, когда мно­гим каза­лось, что доста­точ­но создать при­ло­же­ние, а люди под­тя­нут­ся сами. На деле же заин­те­ре­со­вать поль­зо­ва­те­лей голым набо­ром дан­ных ока­за­лось не так про­сто.

Может ли при­ло­же­ние повли­ять на что-либо, если его ска­чи­ва­ют реже, чем загру­жа­ют попу­ляр­ную пес­ню в iTunes? Когда мы гово­рим о том, что граж­дан­ские тех­но­ло­гии при­зва­ны изме­нить обще­ство, сде­лать госу­дар­ствен­ные инсти­ту­ты про­зрач­ны­ми и под­от­чет­ны­ми, в том чис­ле за счет вовле­чен­но­сти людей в кон­троль за их рабо­той, то полез­но оце­ни­вать ста­ти­сти­ку в мас­шта­бе. Напри­мер, смот­реть, какой про­цент людей от все­го насе­ле­ния стра­ны или горо­да поль­зу­ют­ся про­ек­том. 

Конеч­но, при этом сто­ит учи­ты­вать, что в слу­чае с граж­дан­ски­ми тех­но­ло­ги­я­ми чис­ло поль­зо­ва­те­лей может быть не основ­ным impact-пока­за­те­лем. Мак­си­маль­ный охват – это глав­ная циф­ра для ком­мер­че­ских про­ек­тов и вен­чур­ных инве­сто­ров, кото­рым важ­но вер­нуть вло­жен­ные сред­ства и полу­чить при­быль. С точ­ки зре­ния воз­дей­ствия civic tech про­ек­тов, важ­но учи­ты­вать, кто имен­но поль­зу­ет­ся инстру­мен­том: жур­на­ли­сты, акти­ви­сты, пред­ста­ви­те­ли НКО, иссле­до­ва­те­ли. Ведь для того что­бы собрать реше­ния соци­аль­ных изме­не­ний, необ­хо­ди­мы дей­ствия людей, а не голые дан­ные. 

Еще по теме: Алек­сей Сидо­рен­ко: «Дан­ные без исто­рии и кон­тек­ста граж­дан не инте­ре­су­ют»

4. У всех разные интересы

Про­ек­там и орга­ни­за­ци­ям нуж­но отчи­ты­вать­ся перед раз­ны­ми груп­па­ми людей – инве­сто­ра­ми, поль­зо­ва­те­ля­ми, госу­дар­ством. Каж­дая из этих групп может оце­ни­вать воз­дей­ствие, кото­рое было ока­за­но на обще­ство, в соот­вет­ствии со сво­и­ми взгля­да­ми и пред­став­ле­ни­я­ми. Это зна­чит, что про­ек­ту будут пред­ла­гать раз­ные кри­те­рии оцен­ки эффек­тив­но­сти рабо­ты.

Одной груп­пе будет важ­но знать, сколь­ко людей под­пи­са­ли пети­цию или уста­но­ви­ли при­ло­же­ние. Дру­гой – какой медий­ный охват полу­чил про­ект, как часто упо­ми­на­ли о нем в СМИ, сколь­ко людей под­пи­са­лись на груп­пы в соци­аль­ных сетях. Поэто­му в сво­их отче­тах коман­дам при­хо­дит­ся учи­ты­вать тот факт, что вли­я­ние может быть оце­не­но по-раз­но­му. 

5. Оцениваются только результаты, но не инвестиции

За оцен­кой конеч­ных резуль­та­тов не сто­ит забы­вать о ресур­сах, кото­рые были вло­же­ны в про­ект. Под ресур­са­ми сто­ит пони­мать не толь­ко день­ги или гран­ты, но и уси­лия людей, потра­чен­ные на созда­ние и про­дви­же­ние про­дук­та. В каче­стве при­ме­ра мож­но рас­смот­реть два про­ек­та. 

Пер­вый – соци­аль­ная сеть Jumo. Созда­те­ли пла­ни­ро­ва­ли, что Jumo ста­нет еди­ной плат­фор­мой для неком­мер­че­ских орга­ни­за­ций. Они полу­чи­ли $3,5 мил­ли­о­на инве­сти­ций, а так­же инди­ви­ду­аль­ный вклад НКО и поль­зо­ва­те­лей, кото­рые созда­ва­ли про­фи­ли. Вско­ре про­ект был про­дан за $62 тыся­чи и пять MacBook Pro. Коман­да так­же откры­ла код, что­бы сооб­ще­ство под­дер­жи­ва­ло сайт в рабо­чем состо­я­нии, но и это не помог­ло.

Про­ти­во­по­лож­ный при­мер – про­ект Govtrack.us, кото­рый соби­ра­ет дан­ные и ста­ти­сти­ку о Кон­грес­се США. Сайт был запу­щен в 2004 году Джо­шуа Тау­бе­ре­ром, кото­рый на момент созда­ния плат­фор­мы еще учил­ся в кол­ле­дже. Для стар­та не потре­бо­ва­лось ника­ких зна­чи­тель­ных вло­же­ний, при этом Govtrack.us до сих пор успеш­но рабо­та­ет. 

6. При оценке не учитывается макросреда 

Ино­гда успех про­ек­та обу­слов­лен еще и тем, что он был вовре­мя запу­щен и стал отве­том на какой-либо запрос обще­ства. Воз­мож­на и обрат­ная ситу­а­ция, когда коман­да вро­де бы нашла боле­вую точ­ку и попы­та­лась изме­нить ситу­а­цию, но ока­за­лась в слож­ных усло­ви­ях. Поэто­му и оце­ни­вать граж­дан­ские тех­но­ло­гии сто­ит в связ­ке с мак­ро­сре­дой, в кото­рой они рабо­та­ют, – пони­мать, что про­ис­хо­дит в поли­ти­че­ской жиз­ни горо­да или стра­ны, эко­но­ми­че­ские фак­то­ры.

Напри­мер, в США быст­ро набрал попу­ляр­ность сер­вис Countable, кото­рый еще назы­ва­ют «поли­ти­че­ским Тин­де­ром». Интер­фейс прост: поль­зо­ва­тель вхо­дит в систе­му, исполь­зуя свой поч­то­вый индекс, нахо­дит инте­ре­су­ю­щий его зако­но­про­ект и голо­су­ет «да» или «нет» в зави­си­мо­сти от готов­но­сти под­дер­жать доку­мент, резуль­та­ты голо­со­ва­ния пере­да­ют­ся чинов­ни­кам. Запуск при­ло­же­ния сов­пал по вре­ме­ни с нача­лом пред­вы­бор­ной кам­па­нии Дональ­да Трам­па и ростом инте­ре­са к поли­ти­ке сре­ди моло­де­жи и в целом жите­лей США. Это и мог­ло стать одним из фак­то­ров успе­ха про­ек­та.

7. Количественные показатели могут не соответствовать цели

Рабо­тать с коли­че­ствен­ны­ми пока­за­те­ля­ми удоб­нее все­го. Кли­ки, уста­нов­ки, пуб­ли­ка­ции в СМИ – все эти KPI (Key Performance Indicator, или клю­че­вые пока­за­те­ли эффек­тив­но­сти) при­выч­ные и лег­ко рас­счи­ты­ва­е­мые. Толь­ко любые KPI могут уста­ре­вать или не соот­вет­ство­вать той цели, кото­рой хочет достичь про­ект. Важ­но вовре­мя это понять и не изме­рять вли­я­ние с помо­щью неак­ту­аль­ных пока­за­те­лей.

Ина­че мож­но достичь успе­ха по коли­че­ствен­ным пока­за­те­лям и не прий­ти ни к каким изме­не­ни­ям в обще­стве. В при­мер сно­ва мож­но при­ве­сти выбо­ры в США, толь­ко на этот раз обра­тить­ся к опы­ту дру­го­го кан­ди­да­та – Хил­ла­ри Клин­тон. Ее коман­да про­ве­ла успеш­ную, с точ­ки зре­ния KPI, пред­вы­бор­ную кам­па­нию, они при­влек­ли сред­ства, зару­чи­лись под­держ­кой волон­те­ров и луч­ших газет в стране. При этом глав­ная цель – побе­дить на выбо­рах – так и не была достиг­ну­та. 

8. Отраслевые исследования бывают предвзятыми

Иссле­до­ва­ния и отче­ты не все­гда ста­но­вят­ся объ­ек­тив­ны­ми источ­ни­ка­ми инфор­ма­ции. В том чис­ле и той, кото­рая мог­ла бы при­го­дить­ся для оцен­ки вли­я­ния граж­дан­ских тех­но­ло­гий на обще­ство. Напри­мер, ино­гда иссле­до­ва­ния спон­си­ру­ют сами участ­ни­ки отрас­ли. Так­же экс­перт, кото­рый состав­ля­ет доку­мент, может иметь соци­аль­ные свя­зи с сотруд­ни­ка­ми иссле­ду­е­мых про­ек­тов. Или писать отчет на осно­ве обрат­ной свя­зи от наи­бо­лее актив­ных и вовле­чен­ных поль­зо­ва­те­лей. 

Еще по теме: Сivic tech – тех­но­ло­гии, кото­рые долж­ны были раз­бу­дить в нас граж­дан­скую куль­ту­ру

В этом нет ниче­го кри­тич­но­го, если зада­ча мате­ри­а­ла – в целом повы­сить осве­дом­лен­ность обще­ства о граж­дан­ских тех­но­ло­ги­ях. Пото­му что о civic tech на рус­ском язы­ке пока вышло очень мало мате­ри­а­лов и база зна­ний состо­ит в основ­ном из англо­языч­ных источ­ни­ков. Но необъ­ек­тив­ные иссле­до­ва­ния никак не помо­га­ют самим про­ек­там понять, ока­зы­ва­ют ли они вли­я­ние на обще­ство и справ­ля­ют­ся ли с постав­лен­ны­ми целя­ми. Поэто­му рабо­тать над тако­го рода доку­мен­та­ми долж­ны неза­ви­си­мые авто­ры. А сами иссле­до­ва­ния – вклю­чать в себя ана­лиз, в том чис­ле, неудач и оши­бок.

9. Трудно доказать причинно-следственную связь

Фонд Sunlight Foundation полу­чил мно­го­мил­ли­он­ное финан­си­ро­ва­ние в нуле­вые годы. Орга­ни­за­ция про­ве­ла мас­штаб­ное иссле­до­ва­ние госу­дар­ствен­ных кон­трак­тов, про­ана­ли­зи­ро­вав дан­ные, пред­став­лен­ные на пор­та­лах Data.gov и USASpending.gov. Ана­лиз пока­зал, что отчет­ность по $1,28 трлн была несвое­вре­мен­ной и непол­ной: гос­струк­ту­ры либо не отчи­ты­ва­лись по неко­то­рым ста­тьям рас­хо­дов, либо предо­став­ля­ли сомни­тель­ную инфор­ма­цию.

Веро­ят­но, этот ана­лиз, про­ве­ден­ный Sunlight Foundation, стал одним из пово­дов к при­ня­тию зако­на о циф­ро­вой под­от­чет­но­сти и про­зрач­но­сти (Digital Accountability and Transparency Act, DATA Act). Этот доку­мент задал стан­дарт откры­то­сти бюд­жет­ных дан­ных для госу­дар­ствен­ных орга­нов в США. Но мож­но ли пря­мо утвер­ждать, что закон был при­нят бла­го­да­ря ста­ра­ни­ям коман­ды Sunlight Foundation? И это лишь один из пока­за­тель­ных при­ме­ров того, что дока­зать при­чин­но-след­ствен­ную связь civic tech про­ек­там непро­сто. 

10. Невозможно оценить долгосрочные последствия 

Созда­те­ли civic tech про­ек­тов пред­по­ла­га­ют, что люди будут исполь­зо­вать их плат­фор­мы и при­ло­же­ния имен­но так, как это изна­чаль­но заду­мы­ва­лось. На деле же граж­дан­ские тех­но­ло­гии могут повлечь непред­на­ме­рен­ные послед­ствия для обще­ства. Напри­мер, не при­во­дит ли про­зрач­ность госу­дар­ствен­ных инсти­ту­тов к росту скеп­ти­циз­ма, в то вре­мя как пред­по­ла­га­лось, что граж­дане, наобо­рот, будут боль­ше вза­и­мо­дей­ство­вать с вла­стью? 

Это каса­ет­ся не толь­ко civic tech, но и всех тех­но­ло­гий, кото­рые изна­чаль­но раз­ра­ба­ты­ва­лись с опре­де­лен­ной целью, но ока­за­лось, что у обще­ства на них могут быть и дру­гие пла­ны. Мис­сия Facebook – сде­лать мир более откры­тым. Зву­чит без­обид­но, вот толь­ко мож­но ли усле­дить за все­ми поль­зо­ва­те­ля­ми и заста­вить их играть по изна­чаль­ным пра­ви­лам. Как резуль­тат, неко­то­рые люди исполь­зу­ют плат­фор­му дале­ко не в бла­го­род­ных целях – мошен­ни­ки, тер­ро­ри­сты, спе­ку­лян­ты. И вот соци­аль­ная сеть – это уже не про­сто инстру­мент для поис­ка дру­зей. 

Про­счи­тать все дол­го­сроч­ные послед­ствия не все­гда воз­мож­но, и оце­нить их полу­ча­ет­ся толь­ко в исто­ри­че­ском кон­тек­сте. Но в любом слу­чае, запус­кая про­ект, сто­ит поду­мать о пер­спек­ти­ве и про­ана­ли­зи­ро­вать, какое непред­на­ме­рен­ное вли­я­ние инстру­мент может ока­зать на обще­ство. 

Еще по теме