Шесть университетов получили от Twitter всю базу твитов

Фрагмент интерфейса программы Maltego
Фрагмент интерфейса программы Maltego
В апре­ле 2014 года Twitter сооб­щил о поступ­ле­нии более 1300 заявок из 60+ стран на доступ к базе дан­ных в науч­ных целях, при этом более поло­ви­ны запро­сов посту­пи­ло из-за пре­де­лов США. После отбо­ра кан­ди­да­тов ком­па­ния выбра­ла шесть уни­вер­си­те­тов из четы­рех стран, кото­рым согла­си­лась предо­ста­вить инфор­ма­цию.

Каж­дый день в Twitter пуб­ли­ку­ет­ся 500 млн сооб­ще­ний. На базе тви­тов уче­ные изу­ча­ют пат­тер­ны в чело­ве­че­ском пове­де­нии, соци­аль­ные свя­зи, рас­про­стра­не­ние инфек­ци­он­ных болез­ней, фак­то­ры рис­ка для орга­низ­ма чело­ве­ка и мно­гое дру­гое.

Напри­мер, гео­ло­ги­че­ская служ­ба США отсле­жи­ва­ет тви­ты, что­бы опре­де­лять эпи­центр зем­ле­тря­се­ния, а иссле­до­ва­те­ли из Microsoft раз­ра­бо­та­ли алго­ритм, кото­рый по содер­жи­мо­му тви­тов бере­мен­ной жен­щи­ны опре­де­ля­ет риск раз­ви­тия после­ро­до­вой депрес­сии. Ранее уче­ные были вынуж­де­ны рабо­тать с весь­ма огра­ни­чен­ной выбор­кой дан­ных, так как с помо­щью стан­дарт­но­го Twitter API мож­но полу­чить доступ лишь к 1% всех сооб­ще­ний.

Что­бы зара­нее дого­во­рить­ся о нюан­сах, груп­па уче­ных из Поли­тех­ни­че­ско­го уни­вер­си­те­та Вир­джи­нии пред­ло­жи­ла Пра­ви­ла эти­че­ско­го исполь­зо­ва­ния дан­ных Twitter, под кото­ры­ми могут под­пи­сать­ся все, кто соби­ра­ет­ся их исполь­зо­вать. Сре­ди про­че­го пра­ви­ла содер­жат запрет на пуб­ли­ка­цию имен поль­зо­ва­те­лей и ников, а так­же тре­бо­ва­ние откры­то заяв­лять о целях иссле­до­ва­ния.

Уже раз­ра­бо­та­ны про­грамм­ные инстру­мен­ты, кото­рые пря­мо про­ти­во­ре­чат Пра­ви­лам эти­че­ско­го исполь­зо­ва­ния дан­ных Twitter, а имен­но — авто­ма­ти­че­ски соби­ра­ют дан­ные о кон­крет­ных поль­зо­ва­те­лях и орга­ни­за­ци­ях. Сре­ди таких про­грамм — Maltego и Creepy.