Хакатон по открытым данным в Санкт-Петербурге

ср 21 августа
ср, 21.08.2013ХакатоныСанкт-Петербург Санкт-Петербург
5-6 октября в рамках международной конференции KESW Теплица социальных технологий проводит хакатон по созданию общественно полезных приложений на основе открытых данных в Санкт-Петербурге.

«Хакатон» — это мероприятие, в рамках которого участники разрабатывают приложения/проекты в течении двух дней от начала и до конца. В рамках данного хакатона вы должны разработать проект с использованием как минимум одного дата сета, из рекомендуемых нами, публичного или созданного вашими силами. Приложение может быть создано для любого региона или города, любых целей (коммерческих или некоммерческих). Презентации проектов состоится с 18:00-20:00, проекты необходимо завершить до 17:00 и сдать жюри.

Участники

Приглашаем к участию программистов, дизайнеров, аналитиков, представителей НКО, бизнеса, чиновников, журналистов и всех, кто хочет попробовать себя в командной работе, за сжатое время создать прототип проекта и презентовать его компетентному жюри, тех кому интересны открытые данные и новые инструменты, кто ищет ответы на вопросы «Как современные технологии могут помочь в решении реальных проблем», «Как повысить прозрачность и подотчетность органов власти перед обществом» и всех, кто получает драйв от создания новых проектов и изучения последних технологических решений.

Что такое «Открытые данные»?

Открытые данные – это тренд во всем мире. Государство владеет огромными массивами данных в области транспорта, медицины, образования, недвижимости, финансов и прочее. Используя эти данные, вы можете создавать различные приложения, которые решают реальные проблемы людей и городов. Каждый город – это не просто дома и его жители. Это огромные потоки данных, когда мы этого даже не замечаем. Данные, генерируемые городами, представляют огромный интерес! И сегодня Правительства разных стран раскрывают свои данные в специальных машиночитаемых форматах, чтобы независимые разработчики могли их использовать для своих целей.

На протяжении последних нескольких лет направление «открытые данные» и «открытое государство» рассматриваются как ключевые в области развития прозрачности, эффективности, подотчетности работы гос. органов. Так, США раскрыли более 200 тыс. наборов открытых данных, в Великобритании более 9000, на их основе сделано более 500 мобильных приложений.

В 2013 в российское законодательство введено понятие открытых данных:

Открытые данные – информация о деятельности государственных органов и органов местного самоуправления, размещенная в сети Интернет в виде массивов данных в формате, обеспечивающем их автоматическую обработку для повторного использования без предварительного изменения человеком (машиночитаемый формат), и на условиях ее свободного (бесплатного) использования.

Главное в этом законе, что теперь гос. данные публикуются в форматах, которые становятся более-менее удобными для автоматической обработки. Чаще всего данные представлены в форматах CSV и XML. Сегодня все больше органов власти открывают свои данные и приглашают разработчиков их использовать.

Каждый официальный набор данных на сайтах федеральных гос. органов снабжен паспортом, в котором описано назначение данных, контакты ответственных лиц (так что теперь есть к кому обращаться если с данными возникают проблемы), для XML файлов имеется схема XSD. К сожалению, пока это касается только федеральных министерств и агентств, но в будущем распространится и на субъекты РФ.

Программа мероприятия

5 октября

11:00 – начало регистрации

11:30 – торжественное открытие, приветственное слово организаторов

12:00 – выступления приглашенных экспертов

13:30 – презентации идей/команд

14:00 – обед, деление на команды

15:00 – начало работы в командах

16:00 – выступление приглашенного спикера/мастер-класс

18:00 – 19:00  — перерыв на ужин, игры

19:00 – выступление приглашенного спикера/мастер-класс

6 октября

10:00 – завтрак

11:00 – выступление приглашенного спикера/мастер-класс

13:00 – обед

15:00 – выступление приглашенного спикера/мастер-класс

17:00 – завершение работы над проектами

18:00 – демофест (защита проектов)

20:00 – подведение итогов, награждения

Эксперты/жюри

В состав членов жюри войдут представители гос. органов, бизнеса, инвесторы, эксперты в области открытых данных, общественные деятели, журналисты.

Также эксперты в области открытых данных (менторы) будут помогать участникам в течение мероприятия.

Призы

  • Лучший проект по мнению членов жюри
  • Специальный грант от «Теплицы социальных технологий»
  • Номинация «Новый набор данных»

Наборы данных

Далее описываются основные источники открытых данных, а также даются примеры существующих приложений.

Федеральный портал открытых данных

Портал располагается на сайте Административной реформы по совершенствованию гос. управления и содержит только ссылки на соответствующие разделы сайтов Министерств и Федеральных Агентств, где непосредственно данные и располагаются. Сам портал данных не содержит.

Ссылка на федеральный портал.

Портал включает данные от следующих министерство и агентств, которые могут быть интересны разработчикам. Звездочками отмечены наборы которые показались наиболее интересными составителям данного руководства:

  • Криминальная статистика *
  • Раздел открытых данных Министерства внутренних дел *
  • Раздел открытых данных Министерства иностранных дел
  • Раздел открытых данных Министерства культуры *
  • Раздел открытых данных Министерства образования и науки *
  • Раздел открытых данных МЧС
  • Раздел открытых данных Министерства по связи и коммуникациям и старый раздел *
  • Бюджет РФ в формате открытых данных *
  • Раздел открытых данных Министерства Финансов *
  • Раздел открытых данных Министерства экономического развития
  • Раздел открытых данных Министерства Юстиции
  • Раздел открытых данных Агентства по налоговым сборам
  • Раздел открытых данных Агентства по интеллектуальной собственности
  • Раздел открытых данных РосПотребНадзора
  • и многое другое, к сожалению весь список мы сюда включить не можем

Как данные можно использовать?

Порталы открытых данных распространены по всему миру и для России это первый опыт. Вы можете изучить опыт других стран и найти интересные идеи для вашего проекта. Вот несколько примеров:

  • Приложения на основе открытых данных США (349)
  • Приложения на основе открытых данных Великобритании (264)
  • Приложения на основе открытых данных Канады (36)

Портал открытых данных г. Москвы

Правительство Москвы открывает свои данные для разработчиков мобильных и иных приложений. Данные обезличенные и не конфиденциальные. Примером является такая информация как список школ, реестр земельных участков города. Всего опубликовано 189 наборов данных от 26 органов исполнительной власти.

Следующие категории данных вы можете найти на портале:

  • Дороги и транспорт (18)
  • Здравоохранение (19)
  • Физическая культура (24)
  • Торговля (6)
  • Связь (2)

Если возникают проблемы с данными, опубликованными на официальном портале, можно найти исправленные, нормализованные данные здесь или здесь (однако стоит понимать, что там данные не актуализируются постоянно).

Как данные можно использовать?

Посмотрите, какие приложения создают разработчики для других городов:

Приложения, которые уже используют открытые данные, опубликованы на сайте.

 Проект «Открытая полиция»

На сайте собраны открытые данные по деятельности правоохранительных органов власти: в виде статистики Росстата, профильных министерств и ведомств, реестры лицензий, различные массивы данных относящиеся к деятельности полиции.

Примеры приложений на основе данных полиции г.Лондона можно найти здесь.

Данные Банка России

Имеются данные в формате веб-сервисов (Web Services), основанная  на открытых стандартах — XML, SOAP, WSDL и HTTP. Данная технология позволяет легко интегрировать приложения, используя глобальную сеть Интернет, независимо от платформы и языка разработки.

Имеются следующие данные:

  • Веб-сервис для получения информации справочника по кредитным организациям
  • Веб-сервис для получения информации по рынку ценных бумаг
  • Веб-сервис для поиска по сайту

Использование: для бизнес приложений и финансовых рынков.

Лаборатория “GIS-Lab”

GIS-Lab («ГИС Лаборатория») является независимым информационным ресурсом посвященным Географическим информационным системам (ГИС). Это сообщество людей, существующее около 10 лет, которые создают проекты в области геоинформации. Последние проекты, связанные с преобразованием данных в формате CSV, представлены ниже, остальные можно найти у них на сайте.

Хаб открытых данных

Это каталог и хранилище открытых данных для всех русскоязычных пользователей. Хаб создан и поддерживается НП «Информационная культура». Всего представлено более 5000 массивов данных по различным категориям. Данные собраны с официальных сайтов. Сайт работает на основе CKAN и имеет все его преимущества (API и прочее).

Связанные открытые данные РИА Новости

Портал так называемых связанных открытых данных (Linked Data), создан новостным агентством «РИА Новости», в первую очередь, для бизнеса и содержат данные об организациях, людях, продуктах, спортивных командах, партиях и пр. Наборы открытых данных размещены под управлением RDF СУБД «OntoQuad». Для работы с этими данными необходимо использовать технологии Semantic Web (OWL, RDF, SPARQL).

Транспортный Портал Санкт-Петербурга

Портал разработан комитетом по транспорту СПб. Данные о движении транспорта в реальном времени, список остановок, прогноз движения транпсорта доступен с помощью форматов GTFS и GTFS-realtim.

Для получения доступа к данным необходимо воспользоваться этой страницей.

Портал «ГосЗакупки»

Госзакупки имеет интерфейс поиска, а также данные контрактов можно выкачивать с их ФТП-сервера в формате XML.

ФТП сервер: ftp://ftp.zakupki.gov.ru

Как получить доступ: //zakupki.gov.ru/forum/posts/list/45820.page

Данные “Всемирного банка”

//data.worldbank.org/developers

Данные ООН

//data.un.org/

Данные проекта «Росправосудие»

Росправосудие – это крупнейшая картотека юристов, адвокатов, судей и судебных решений (32 миллиона документов, 35+ тысяч судей, 65+ тысяч адвокатов, сотни тысяч юристов, прокуроры ).

Наличие структурированных данных выесняется. Есть отдельный интересный раздел с исследованиями на основе данных.

«Декларатор»

Декларатор – крупная пополняемая база данных о доходах депутатов, чиновников и представителей региональной власти и иных государственных органов. Проект реализуется Центром «Трансперенси Интернешнл Россия». Данные можно скачать в форматах CSV, XML.

API

Ниже представлены рекомендуемые API для работы с данными:

  • API ГосДумы РФ
  • Foursquare API