Хакатон по открытым данным в Санкт-Петербурге

Data path with glow by
Data path with glow by

ср 21 августа

Санкт-Петербург

5–6 октяб­ря в рам­ках меж­ду­на­род­ной кон­фе­рен­ции KESW Теп­ли­ца соци­аль­ных тех­но­ло­гий про­во­дит хака­тон по созда­нию обще­ствен­но полез­ных при­ло­же­ний на осно­ве откры­тых дан­ных в Санкт-Петер­бур­ге.

«Хака­тон» – это меро­при­я­тие, в рам­ках кото­ро­го участ­ни­ки раз­ра­ба­ты­ва­ют приложения/проекты в тече­нии двух дней от нача­ла и до кон­ца. В рам­ках дан­но­го хака­то­на вы долж­ны раз­ра­бо­тать про­ект с исполь­зо­ва­ни­ем как мини­мум одно­го дата сета, из реко­мен­ду­е­мых нами, пуб­лич­но­го или создан­но­го ваши­ми сила­ми. При­ло­же­ние может быть созда­но для любо­го реги­о­на или горо­да, любых целей (ком­мер­че­ских или неком­мер­че­ских). Пре­зен­та­ции про­ек­тов состо­ит­ся с 18:00–20:00, про­ек­ты необ­хо­ди­мо завер­шить до 17:00 и сдать жюри.

Участники

При­гла­ша­ем к уча­стию про­грам­ми­стов, дизай­не­ров, ана­ли­ти­ков, пред­ста­ви­те­лей НКО, биз­не­са, чинов­ни­ков, жур­на­ли­стов и всех, кто хочет попро­бо­вать себя в команд­ной рабо­те, за сжа­тое вре­мя создать про­то­тип про­ек­та и пре­зен­то­вать его ком­пе­тент­но­му жюри, тех кому инте­рес­ны откры­тые дан­ные и новые инстру­мен­ты, кто ищет отве­ты на вопро­сы «Как совре­мен­ные тех­но­ло­гии могут помочь в реше­нии реаль­ных про­блем», «Как повы­сить про­зрач­ность и под­от­чет­ность орга­нов вла­сти перед обще­ством» и всех, кто полу­ча­ет драйв от созда­ния новых про­ек­тов и изу­че­ния послед­них тех­но­ло­ги­че­ских реше­ний.

Что такое «Открытые данные»?

Откры­тые дан­ные – это тренд во всем мире. Госу­дар­ство вла­де­ет огром­ны­ми мас­си­ва­ми дан­ных в обла­сти транс­пор­та, меди­ци­ны, обра­зо­ва­ния, недви­жи­мо­сти, финан­сов и про­чее. Исполь­зуя эти дан­ные, вы може­те созда­вать раз­лич­ные при­ло­же­ния, кото­рые реша­ют реаль­ные про­бле­мы людей и горо­дов. Каж­дый город – это не про­сто дома и его жите­ли. Это огром­ные пото­ки дан­ных, когда мы это­го даже не заме­ча­ем. Дан­ные, гене­ри­ру­е­мые горо­да­ми, пред­став­ля­ют огром­ный инте­рес! И сего­дня Пра­ви­тель­ства раз­ных стран рас­кры­ва­ют свои дан­ные в спе­ци­аль­ных маши­но­чи­та­е­мых фор­ма­тах, что­бы неза­ви­си­мые раз­ра­бот­чи­ки мог­ли их исполь­зо­вать для сво­их целей.

На про­тя­же­нии послед­них несколь­ких лет направ­ле­ние «откры­тые дан­ные» и «откры­тое госу­дар­ство» рас­смат­ри­ва­ют­ся как клю­че­вые в обла­сти раз­ви­тия про­зрач­но­сти, эффек­тив­но­сти, под­от­чет­но­сти рабо­ты гос. орга­нов. Так, США рас­кры­ли более 200 тыс. набо­ров откры­тых дан­ных, в Вели­ко­бри­та­нии более 9000, на их осно­ве сде­ла­но более 500 мобиль­ных при­ло­же­ний.

В 2013 в рос­сий­ское зако­но­да­тель­ство вве­де­но поня­тие откры­тых дан­ных:

Откры­тые дан­ные – инфор­ма­ция о дея­тель­но­сти госу­дар­ствен­ных орга­нов и орга­нов мест­но­го само­управ­ле­ния, раз­ме­щен­ная в сети Интер­нет в виде мас­си­вов дан­ных в фор­ма­те, обес­пе­чи­ва­ю­щем их авто­ма­ти­че­скую обра­бот­ку для повтор­но­го исполь­зо­ва­ния без пред­ва­ри­тель­но­го изме­не­ния чело­ве­ком (маши­но­чи­та­е­мый фор­мат), и на усло­ви­ях ее сво­бод­но­го (бес­плат­но­го) исполь­зо­ва­ния.

Глав­ное в этом законе, что теперь гос. дан­ные пуб­ли­ку­ют­ся в фор­ма­тах, кото­рые ста­но­вят­ся более-менее удоб­ны­ми для авто­ма­ти­че­ской обра­бот­ки. Чаще все­го дан­ные пред­став­ле­ны в фор­ма­тах CSV и XML. Сего­дня все боль­ше орга­нов вла­сти откры­ва­ют свои дан­ные и при­гла­ша­ют раз­ра­бот­чи­ков их исполь­зо­вать.

Каж­дый офи­ци­аль­ный набор дан­ных на сай­тах феде­раль­ных гос. орга­нов снаб­жен пас­пор­том, в кото­ром опи­са­но назна­че­ние дан­ных, кон­так­ты ответ­ствен­ных лиц (так что теперь есть к кому обра­щать­ся если с дан­ны­ми воз­ни­ка­ют про­бле­мы), для XML фай­лов име­ет­ся схе­ма XSD. К сожа­ле­нию, пока это каса­ет­ся толь­ко феде­раль­ных мини­стерств и агентств, но в буду­щем рас­про­стра­нит­ся и на субъ­ек­ты РФ.

Программа мероприятия

5 октяб­ря

11:00 – нача­ло реги­стра­ции

11:30 – тор­же­ствен­ное откры­тие, при­вет­ствен­ное сло­во орга­ни­за­то­ров

12:00 – выступ­ле­ния при­гла­шен­ных экс­пер­тов

13:30 – пре­зен­та­ции идей/команд

14:00 – обед, деле­ние на коман­ды

15:00 – нача­ло рабо­ты в коман­дах

16:00 – выступ­ле­ние при­гла­шен­но­го спи­ке­ра/­ма­стер-класс

18:00 – 19:00 – пере­рыв на ужин, игры

19:00 – выступ­ле­ние при­гла­шен­но­го спи­ке­ра/­ма­стер-класс

6 октяб­ря

10:00 – зав­трак

11:00 – выступ­ле­ние при­гла­шен­но­го спи­ке­ра/­ма­стер-класс

13:00 – обед

15:00 – выступ­ле­ние при­гла­шен­но­го спи­ке­ра/­ма­стер-класс

17:00 – завер­ше­ние рабо­ты над про­ек­та­ми

18:00 – демо­фест (защи­та про­ек­тов)

20:00 – под­ве­де­ние ито­гов, награж­де­ния

Эксперты/жюри

В состав чле­нов жюри вой­дут пред­ста­ви­те­ли гос. орга­нов, биз­не­са, инве­сто­ры, экс­пер­ты в обла­сти откры­тых дан­ных, обще­ствен­ные дея­те­ли, жур­на­ли­сты.

Так­же экс­пер­ты в обла­сти откры­тых дан­ных (мен­то­ры) будут помо­гать участ­ни­кам в тече­ние меро­при­я­тия.

Призы

  • Луч­ший про­ект по мне­нию чле­нов жюри
  • Спе­ци­аль­ный грант от «Теп­ли­цы соци­аль­ных тех­но­ло­гий»
  • Номи­на­ция «Новый набор дан­ных»

Наборы данных

Далее опи­сы­ва­ют­ся основ­ные источ­ни­ки откры­тых дан­ных, а так­же дают­ся при­ме­ры суще­ству­ю­щих при­ло­же­ний.

Федеральный портал открытых данных

Пор­тал рас­по­ла­га­ет­ся на сай­те Адми­ни­стра­тив­ной рефор­мы по совер­шен­ство­ва­нию гос. управ­ле­ния и содер­жит толь­ко ссыл­ки на соот­вет­ству­ю­щие раз­де­лы сай­тов Мини­стерств и Феде­раль­ных Агентств, где непо­сред­ствен­но дан­ные и рас­по­ла­га­ют­ся. Сам пор­тал дан­ных не содер­жит.

Ссыл­ка на феде­раль­ный пор­тал.

Пор­тал вклю­ча­ет дан­ные от сле­ду­ю­щих мини­стер­ство и агентств, кото­рые могут быть инте­рес­ны раз­ра­бот­чи­кам. Звез­доч­ка­ми отме­че­ны набо­ры кото­рые пока­за­лись наи­бо­лее инте­рес­ны­ми соста­ви­те­лям дан­но­го руко­вод­ства:

Как дан­ные мож­но исполь­зо­вать?

Пор­та­лы откры­тых дан­ных рас­про­стра­не­ны по все­му миру и для Рос­сии это пер­вый опыт. Вы може­те изу­чить опыт дру­гих стран и най­ти инте­рес­ные идеи для ваше­го про­ек­та. Вот несколь­ко при­ме­ров:

Портал открытых данных г. Москвы

Пра­ви­тель­ство Моск­вы откры­ва­ет свои дан­ные для раз­ра­бот­чи­ков мобиль­ных и иных при­ло­же­ний. Дан­ные обез­ли­чен­ные и не кон­фи­ден­ци­аль­ные. При­ме­ром явля­ет­ся такая инфор­ма­ция как спи­сок школ, реестр земель­ных участ­ков горо­да. Все­го опуб­ли­ко­ва­но 189 набо­ров дан­ных от 26 орга­нов испол­ни­тель­ной вла­сти.

Сле­ду­ю­щие кате­го­рии дан­ных вы може­те най­ти на пор­та­ле:

Если воз­ни­ка­ют про­бле­мы с дан­ны­ми, опуб­ли­ко­ван­ны­ми на офи­ци­аль­ном пор­та­ле, мож­но най­ти исправ­лен­ные, нор­ма­ли­зо­ван­ные дан­ные здесь или здесь (одна­ко сто­ит пони­мать, что там дан­ные не акту­а­ли­зи­ру­ют­ся посто­ян­но).

Как дан­ные мож­но исполь­зо­вать?

Посмот­ри­те, какие при­ло­же­ния созда­ют раз­ра­бот­чи­ки для дру­гих горо­дов:

При­ло­же­ния, кото­рые уже исполь­зу­ют откры­тые дан­ные, опуб­ли­ко­ва­ны на сай­те.

Проект «Открытая полиция»

На сай­те собра­ны откры­тые дан­ные по дея­тель­но­сти пра­во­охра­ни­тель­ных орга­нов вла­сти: в виде ста­ти­сти­ки Рос­ста­та, про­филь­ных мини­стерств и ведомств, реест­ры лицен­зий, раз­лич­ные мас­си­вы дан­ных отно­ся­щи­е­ся к дея­тель­но­сти поли­ции.

При­ме­ры при­ло­же­ний на осно­ве дан­ных поли­ции г.Лондона мож­но най­ти здесь.

Данные Банка России

Име­ют­ся дан­ные в фор­ма­те веб-сер­ви­сов (Web Services), осно­ван­ная на откры­тых стан­дар­тах – XML, SOAP, WSDL и HTTP. Дан­ная тех­но­ло­гия поз­во­ля­ет лег­ко инте­гри­ро­вать при­ло­же­ния, исполь­зуя гло­баль­ную сеть Интер­нет, неза­ви­си­мо от плат­фор­мы и язы­ка раз­ра­бот­ки.

Име­ют­ся сле­ду­ю­щие дан­ные:

  • Веб-сер­вис для полу­че­ния инфор­ма­ции спра­воч­ни­ка по кре­дит­ным орга­ни­за­ци­ям
  • Веб-сер­вис для полу­че­ния инфор­ма­ции по рын­ку цен­ных бумаг
  • Веб-сер­вис для поис­ка по сай­ту

Исполь­зо­ва­ние: для биз­нес при­ло­же­ний и финан­со­вых рын­ков.

Лаборатория “GIS-Lab”

GIS-Lab («ГИС Лабо­ра­то­рия») явля­ет­ся неза­ви­си­мым инфор­ма­ци­он­ным ресур­сом посвя­щен­ным Гео­гра­фи­че­ским инфор­ма­ци­он­ным систе­мам (ГИС). Это сооб­ще­ство людей, суще­ству­ю­щее око­ло 10 лет, кото­рые созда­ют про­ек­ты в обла­сти гео­ин­фор­ма­ции. Послед­ние про­ек­ты, свя­зан­ные с пре­об­ра­зо­ва­ни­ем дан­ных в фор­ма­те CSV, пред­став­ле­ны ниже, осталь­ные мож­но най­ти у них на сай­те.

Хаб открытых данных

Это ката­лог и хра­ни­ли­ще откры­тых дан­ных для всех рус­ско­языч­ных поль­зо­ва­те­лей. Хаб создан и под­дер­жи­ва­ет­ся НП «Инфор­ма­ци­он­ная куль­ту­ра». Все­го пред­став­ле­но более 5000 мас­си­вов дан­ных по раз­лич­ным кате­го­ри­ям. Дан­ные собра­ны с офи­ци­аль­ных сай­тов. Сайт рабо­та­ет на осно­ве CKAN и име­ет все его пре­иму­ще­ства (API и про­чее).

Связанные открытые данные РИА Новости

Пор­тал так назы­ва­е­мых свя­зан­ных откры­тых дан­ных (Linked Data), создан новост­ным агент­ством «РИА Ново­сти», в первую оче­редь, для биз­не­са и содер­жат дан­ные об орга­ни­за­ци­ях, людях, про­дук­тах, спор­тив­ных коман­дах, пар­ти­ях и пр. Набо­ры откры­тых дан­ных раз­ме­ще­ны под управ­ле­ни­ем RDF СУБД «OntoQuad». Для рабо­ты с эти­ми дан­ны­ми необ­хо­ди­мо исполь­зо­вать тех­но­ло­гии Semantic Web (OWL, RDF, SPARQL).

Транспортный Портал Санкт-Петербурга

Пор­тал раз­ра­бо­тан коми­те­том по транс­пор­ту СПб. Дан­ные о дви­же­нии транс­пор­та в реаль­ном вре­ме­ни, спи­сок оста­но­вок, про­гноз дви­же­ния тран­п­сор­та досту­пен с помо­щью фор­ма­тов GTFS и GTFS-realtim.

Для полу­че­ния досту­па к дан­ным необ­хо­ди­мо вос­поль­зо­вать­ся этой стра­ни­цей.

Портал «ГосЗакупки»

Гос­за­куп­ки име­ет интер­фейс поис­ка, а так­же дан­ные кон­трак­тов мож­но выка­чи­вать с их ФТП-сер­ве­ра в фор­ма­те XML.

ФТП сер­вер: ftp://ftp.zakupki.gov.ru

Как полу­чить доступ: //zakupki.gov.ru/forum/posts/list/45820.page

Данные “Всемирного банка”

//data.worldbank.org/developers

Данные ООН

//data.un.org/

Данные проекта «Росправосудие»

Роспра­во­су­дие – это круп­ней­шая кар­то­те­ка юри­стов, адво­ка­тов, судей и судеб­ных реше­ний (32 мил­ли­о­на доку­мен­тов, 35+ тысяч судей, 65+ тысяч адво­ка­тов, сот­ни тысяч юри­стов, про­ку­ро­ры ).

Нали­чие струк­ту­ри­ро­ван­ных дан­ных выес­ня­ет­ся. Есть отдель­ный инте­рес­ный раз­дел с иссле­до­ва­ни­я­ми на осно­ве дан­ных.

«Декларатор»

Декла­ра­тор – круп­ная попол­ня­е­мая база дан­ных о дохо­дах депу­та­тов, чинов­ни­ков и пред­ста­ви­те­лей реги­о­наль­ной вла­сти и иных госу­дар­ствен­ных орга­нов. Про­ект реа­ли­зу­ет­ся Цен­тром «Тран­спе­рен­си Интер­неш­нл Рос­сия». Дан­ные мож­но ска­чать в фор­ма­тах CSV, XML.

API

Ниже пред­став­ле­ны реко­мен­ду­е­мые API для рабо­ты с дан­ны­ми:

  • API Гос­Ду­мы РФ
  • Foursquare API

Автор: Дарья Алексеева