Как технологии интернет-магазинов могут помочь НКО

Социальный сектор может использовать метод совместной фильтрации для получения точной и актуальной информации о том, что происходит в обществе и что волнует жителей. Изображение с сайта pexels.com (CC0).
Социальный сектор может использовать метод совместной фильтрации для получения точной и актуальной информации о том, что происходит в обществе и что волнует жителей. Изображение с сайта pexels.com (CC0).

Неком­мер­че­ские орга­ни­за­ции и СМИ ока­зы­ва­ют транс­фор­ми­ру­ю­щее воз­дей­ствие на граж­дан, при­во­дят к соци­аль­ным изме­не­ни­ям. Но как изме­рить этот эффект? В этом может помочь метод «сов­мест­ной филь­тра­ции», кото­рый успеш­но исполь­зу­ют круп­ней­шие интер­нет-мага­зи­ны.

Еще в 2006 году скром­ная ком­па­ния Netflix, рабо­тав­шая по биз­нес-моде­ли dvd-by-mail (при кото­рой кли­ен­ты арен­ду­ют dvd-дис­ки) пред­ло­жи­ла приз в раз­ме­ре 1 млн дол­ла­ров любой коман­де раз­ра­бот­чи­ков, кото­рая мог­ла бы при­ду­мать модель реко­мен­да­ции филь­мов для поку­па­те­лей на осно­ве их инте­ре­сов.

Тем вре­ме­нем ком­па­ния Amazon тоже дела­ла став­ку на свой под­пис­ной сер­вис, постро­ен­ный на инстру­мен­те реко­мен­да­ций. Для этих ком­па­ний кон­цеп­ция была про­стой: раз­ра­бо­тать алго­ритм, кото­рый на осно­ве инте­ре­сов и дей­ствий кли­ен­тов спо­со­бен про­гно­зи­ро­вать, какие про­дук­ты будут нуж­ны дру­гим похо­жим поку­па­те­лям, еди­но­мыш­лен­ни­кам.

Алго­ритм, как они наде­я­лись, будет дей­ство­вать в виде высо­ко­точ­ной дина­ми­че­ской фокус-груп­пы XXI века, рабо­та­ю­щей на уве­ли­че­ние потреб­ле­ния, удо­вле­тво­ре­ния и лояль­но­сти кли­ен­тов.

Сего­дня Netflix исполь­зу­ет гло­баль­ную реко­мен­да­тель­ную систе­му, кото­рая эко­но­мит ком­па­нии 1 мил­ли­ард дол­ла­ров в год. Пред­ста­ви­те­ли Amazon заяв­ля­ют, что реко­мен­да­ции состав­ля­ют потря­са­ю­щие 35% дохо­да ком­па­нии. Это хоро­шие пока­за­те­ли для ком­мер­че­ских ком­па­ний, одна­ко это так­же мно­го­обе­ща­ю­щие ново­сти для спе­ци­а­ли­стов из неком­мер­че­ских орга­ни­за­ций.

Дело в том, что эти систе­мы постро­е­ны на моде­ли под назва­ни­ем «кол­ла­бо­ра­тив­ная, или сов­мест­ная филь­тра­ция» (collaborative filtering). Это один из мето­дов постро­е­ния про­гно­зов в реко­мен­да­тель­ных систе­мах, исполь­зу­ю­щий извест­ные пред­по­чте­ния (оцен­ки) груп­пы поль­зо­ва­те­лей для про­гно­зи­ро­ва­ния неиз­вест­ных пред­по­чте­ний дру­го­го поль­зо­ва­те­ля.

Имен­но этот метод откры­ва­ет потен­ци­ал для полу­че­ния более быст­рых, деше­вых и каче­ствен­ных дан­ных о труд­но изме­ри­мых соци­аль­ных изме­не­ни­ях.

Совместная фильтрация

Каче­ствен­ный ана­лиз дан­ных – изну­ри­тель­ный про­цесс. Вме­сто цифр, линей­ных гра­фи­ков и про­цент­ных пунк­тов, часто встре­ча­ют­ся линг­ви­сти­че­ские дан­ные от респон­ден­тов, участ­ни­ков сооб­ще­ства, раз­но­об­раз­ные наблю­де­ния.

Объ­ем­ный и неструк­ту­ри­ро­ван­ный харак­тер этих дан­ных затруд­ня­ет про­ве­де­ние быст­ро­го и точ­но­го ана­ли­за. Экс­пер­ты оце­ни­ва­ют дан­ные вруч­ную или с помо­щью про­грамм­но­го обес­пе­че­ния, иден­ти­фи­ци­ру­ют шаб­ло­ны, ана­ли­зи­ру­ют клю­че­вые сло­ва и выра­же­ния.

Но этот под­ход может при­ве­сти к ошиб­кам: любое сме­ще­ние вызы­ва­ет заблуж­де­ние. Как мож­но под­твер­дить эти пред­по­ло­же­ния? Метод сов­мест­ной филь­тра­ции рабо­та­ет по дру­го­му: он стре­мит­ся исполь­зо­вать кол­лек­тив­ный интел­лект изу­ча­е­мо­го сооб­ще­ства.

В то вре­мя как Netflix и Amazon исполь­зу­ют этот под­ход для созда­ния про­гно­зи­ру­е­мо­го пове­де­ния кли­ен­тов, соци­аль­ный сек­тор может исполь­зо­вать его для полу­че­ния точ­ной и акту­аль­ной инфор­ма­ции о том, что про­ис­хо­дит в обще­стве и что вол­ну­ет жите­лей.

Пред­ставь­те, что вы мэр горо­да и хоти­те знать, что боль­ше все­го вол­ну­ет граж­дан. Вме­сто про­ве­де­ния тра­ди­ци­он­но­го опро­са (где отве­ты на вопро­сы и ана­лиз дан­ных оста­ют­ся в иссле­до­ва­тель­ской груп­пе), вы хоти­те, что­бы сооб­ще­ство кол­лек­тив­но иден­ти­фи­ци­ро­ва­ло и оце­ни­ва­ло новые идеи на осно­ве дан­ных.

Поэто­му вы раз­ра­ба­ты­ва­е­те опрос, в кото­ром про­си­те граж­да­ни­на Б. про­чи­тать, а затем оце­нить по пяти­балль­ной шка­ле (где пять самая кри­ти­че­ская про­бле­ма) заяв­ле­ние граж­да­ни­на А.

Допу­стим, граж­да­нин А. счи­та­ет, что новое реги­о­наль­ное стро­и­тель­ство явля­ет­ся самой боль­шой про­бле­мой, сто­я­щей перед горо­дом. Граж­да­нин Б. оце­ни­ва­ет заяв­ле­ние граж­да­ни­на о новом стро­и­тель­стве, напри­мер, на 4 бал­ла, а затем запи­шет свое заяв­ле­ние о том, что, по его мне­нию, недав­няя серия домаш­них взло­мов – это более серьез­ная про­бле­ма.

Его заяв­ле­ние затем пере­хо­дит к дру­гой груп­пе граж­дан, кото­рая про­став­ля­ет свой рей­тинг и заяв­ля­ет о про­бле­мах. В кон­це неде­ли на веб-сай­те горо­да раз­ме­ща­ет­ся рей­тинг заяв­ле­ний граж­дан. Теперь у вас как у мэра горо­да есть спи­сок при­о­ри­тет­ных про­блем в вашем горо­де, под­твер­жден­ный путем одно­ран­го­вой оцен­ки.

Инструмент для быстрого анализа

Как же обще­ствен­ный сек­тор может исполь­зо­вать этот метод? В 2013 году иссле­до­ва­тель­ская груп­па Кали­фор­ний­ско­го уни­вер­си­те­та в Берк­ли, воз­глав­ля­е­мая про­фес­со­ром Кеном Гол­дбер­гом и Брен­ди Нон­не­ке, нача­ла экс­пе­ри­мен­ти­ро­вать с этим мето­дом сбо­ра дан­ных для соци­аль­но­го бла­га.

В резуль­та­те появи­лась мобиль­ная плат­фор­ма с откры­тым исход­ным кодом DevCAFE. Она поз­во­ля­ет быст­ро и мас­шта­би­ру­е­мо соби­рать и ана­ли­зи­ро­вать коли­че­ствен­ные и каче­ствен­ные дан­ные. С тех пор DevCAFE был про­те­сти­ро­ван в раз­но­об­раз­ных усло­ви­ях для оцен­ки эффек­тив­но­сти. В Уган­де он был исполь­зо­ван для учеб­ной про­грам­мы по пла­ни­ро­ва­нию семьи.

Женщина из Уганды использует Devcafe для оценки эффективности программы по обучению планирования семьи. (фото Бренди Ноннеке с сайта ssir.org)
Жен­щи­на из Уган­ды исполь­зу­ет DevCAFE для оцен­ки эффек­тив­но­сти про­грам­мы по обу­че­нию пла­ни­ро­ва­ния семьи. Фото Брен­ди Нон­не­ке с сай­та ssir.org.

Жен­щи­ны отве­ча­ли на несколь­ко стан­дарт­ных вопро­сов, а затем мог­ли сво­и­ми сло­ва­ми пред­ло­жить улуч­ше­ния для про­грам­мы. После это­го дру­гая груп­па жен­щин оце­ни­ва­ла каж­дую из озву­чен­ных идей, а конеч­ным резуль­та­том был отфиль­тро­ван­ный спи­сок при­о­ри­тет­ных и одоб­рен­ных пред­ло­же­ний. Все они были учте­ны.

Комплексная оценка

Но что если вы хоти­те исполь­зо­вать сов­мест­ную филь­тра­цию не как про­гно­сти­че­ский инстру­мент (как это было у Netflix или DevCAFE), а как метод оцен­ки воз­дей­ствия. При этом вам нуж­но исполь­зо­вать мно­же­ство каче­ствен­ных дан­ных, учесть мед­лен­ные изме­не­ния за дли­тель­ный пери­од вре­ме­ни.

Такую оцен­ку мож­но при­ме­нить к широ­ко­му кру­гу обла­стей: от про­ек­тов, ори­ен­ти­ро­ван­ных на соци­аль­ные изме­не­ния, до сфе­ры СМИ. В этой обла­сти отсле­дить инфор­ма­цию о потре­би­те­лях и изме­рить соци­аль­ные послед­ствия – боль­шая про­бле­ма.

Напри­мер, изме­нил­ся ли спо­соб мыш­ле­ния и дей­ствия людей, и если да, то как? Есть неко­то­рые доступ­ные инстру­мен­ты: напри­мер, Media Cloud, плат­фор­ма с откры­тым кодом для медиа­а­на­ли­ти­ки, инстру­мент Newslynx, кото­рый отсле­жи­ва­ет реак­цию на ново­сти, меж­ду­на­род­ная иссле­до­ва­тель­ская плат­фор­ма Open Data Kit.

Совместная фильтрация: оценка в действии

В 2016 году коман­да доку­мен­таль­но­го филь­ма ITVS, вдох­нов­лен­ная про­ек­том DevCAFE, тоже реши­ла исполь­зо­вать метод сов­мест­ной филь­тра­ции. С помо­щью мобиль­ной плат­фор­мы DocSCALE коман­да попро­бо­ва­ла оце­нить воз­дей­ствие доку­мен­таль­но­го филь­ма в рам­ках соци­аль­ной про­грам­мы для жен­щин и дево­чек (Women and Girls Lead Global) в Индии.

В экс­пе­ри­мен­те было 1 338 муж­чин и жен­щин из бед­ных общин, все они участ­ни­ки про­грам­мы про­фи­лак­ти­ки наси­лия по при­зна­ку пола. Они отве­ча­ли на голо­со­вые опро­сы с помо­щью смарт­фо­на DocSCALE, 1001 участ­ник запи­сал свои соб­ствен­ные наблю­де­ния во вза­и­мо­от­но­ше­ни­ях меж­ду муж­чи­на­ми и жен­щи­на­ми в их семье или сооб­ще­стве. Наря­ду с этим мето­дом груп­па экс­пер­тов про­ве­ла тра­ди­ци­он­ное иссле­до­ва­ние в виде интер­вью, уча­стия фокус-групп.

Еще по теме: Как оце­нить резуль­та­ты соци­аль­но зна­чи­мо­го про­ек­та

Ока­за­лось, что DocSCALE зафик­си­ро­вал боль­шин­ство тех же изме­не­ний, что и тра­ди­ци­он­ная оцен­ка. Одна­ко обна­ру­жил изме­не­ния не путем поис­ка отве­тов на длин­ный спи­сок вопро­сов (как это было сде­ла­но в тра­ди­ци­он­ном иссле­до­ва­нии), а через при­гла­ше­ние респон­ден­тов запи­сать голо­сом отве­ты и дать им оце­нить дру­гие заяв­ле­ния.

Участ­ни­ки опро­са в Индии с помо­щью теле­фо­нов с про­сты­ми функ­ци­я­ми исполь­зу­ют плат­фор­му ITVS DocSCALE для вне­се­ния наблю­де­ний за вза­и­мо­дей­стви­ем меж­ду муж­чи­на­ми и жен­щи­на­ми. Фото с сай­та ssir.org.

Дан­ные, полу­чен­ные с помо­щью сов­мест­ной филь­тра­ции были гораз­до более лич­ные и дета­ли­зи­ро­ван­ные, чем дан­ные тра­ди­ци­он­ных иссле­до­ва­ний. Docscale вполне мож­но исполь­зо­вать для инстру­мен­та оцен­ки НКО и в СМИ или для мони­то­рин­га и полу­че­ния обрат­ной свя­зи от жите­лей.

О будущем оценки, и почему социальному сектору нужны программисты

Конеч­но, эти экс­пе­ри­мен­ты толь­ко зарож­да­ют­ся, их резуль­та­ты непол­ные, и потен­ци­ал сов­мест­ной филь­тра­ции едва задей­ство­ван как инстру­мент соци­аль­ных изме­не­ний. Но несколь­ко типов орга­ни­за­ций могут осо­бен­но выиг­рать от при­ме­не­ния это­го мето­да.

1. Орга­ни­за­ции, ори­ен­ти­ро­ван­ные на соуча­стие, кото­рые стре­мят­ся вовлечь участ­ни­ков в про­цесс оцен­ки. Для них крайне важ­на обрат­ная связь, ее мож­но полу­чить с помо­щью интер­ак­тив­ных опро­сов, как напри­мер было сде­ла­но в про­ек­те DevCAFE. При этом участ­ни­ки могут дать мгно­вен­ное, визу­аль­ное пред­став­ле­ние об их при­о­ри­те­тах и о том, что их вол­ну­ет.

2. Обще­ствен­ные орга­ни­за­ции, кото­рые зани­ма­ют­ся оцен­кой каче­ствен­ных дан­ных. Тема­ти­че­ские иссле­до­ва­ния и каче­ствен­ный поиск тен­ден­ций могут стать насто­я­щим про­кля­ти­ем для орга­ни­за­ций, пыта­ю­щих­ся пока­зать вли­я­ние. Сов­мест­ная филь­тра­ция помо­га­ет повы­сить коли­че­ствен­ную цен­ность каче­ствен­ных дан­ных. Напри­мер, цита­ты участ­ни­ка, под­креп­лен­ные циф­ра­ми и рей­тин­гом со сто­ро­ны дру­гих участ­ни­ков, дадут боль­шее пред­став­ле­ние о том, что про­ис­хо­дит в этом сооб­ще­стве.

3. Орга­ни­за­ции, кото­рые зани­ма­ют­ся оцен­кой воз­дей­ствия. В сфе­ре СМИ есть сот­ни соци­аль­но ори­ен­ти­ро­ван­ных режис­се­ров, кото­рые каж­дый год рас­ска­зы­ва­ют вдох­нов­ля­ю­щие исто­рии, про­во­дят вдох­нов­ля­ю­щие кам­па­нии, а затем пыта­ют­ся изме­рить воз­дей­ствие. Инстру­мент сов­мест­ной филь­тра­ции помо­жет про­во­дить свои соб­ствен­ные быст­рые оцен­ки без экс­перт­но­го ана­ли­за.

Реко­мен­да­ции

1. Вклю­чить метод сов­мест­ной филь­тра­ции в раз­ра­бот­ку про­ек­та. Моде­ли для при­ме­не­ния мето­да сов­мест­ной филь­тра­ции в devcafe и docscale осно­ва­ны на откры­том исход­ном коде. Те, кто рабо­та­ет с онлайн-ком­па­ни­я­ми для про­ве­де­ния опро­сов, долж­ны попро­сить эти ком­па­нии вклю­чить сов­мест­ную филь­тра­цию в свои плат­фор­мы, что­бы они мог­ли про­ще полу­чать необ­хо­ди­мые дан­ные.

2. Актив­но высту­пать за обрат­ную связь и каче­ствен­ные дан­ные. Воз­мож­ность про­став­лять рей­тинг все­ми участ­ни­ка­ми – это цен­ные наблю­де­ния, такие дан­ные могут пре­вра­тить­ся в полез­ный и широ­ко исполь­зу­е­мый актив.

Метод сов­мест­ной филь­тра­ции эко­но­мит бюд­же­ты ком­па­ний и упро­ща­ет нашу жизнь, струк­ту­ри­руя огром­ное коли­че­ство дан­ных. Пере­смотр этой тех­но­ло­гии для обще­ствен­но­го бла­га име­ет суще­ствен­ные пре­иму­ще­ства. Поз­во­ляя участ­ни­кам сов­мест­но филь­тро­вать дан­ные, мы можем умень­шить пред­взя­тость и исполь­зо­вать более точ­ные све­де­ния для повы­ше­ния эффек­тив­но­сти обще­ствен­но­го сек­то­ра.

Ори­ги­нал ста­тьи на Stanford Social Innovation Review (Eng.).