Web Robots – инструменты для извлечения данных со страниц в Интернете

Web Robots – инструменты для извлечения данных со страниц в Интернете
web robots

Web Robots – это плат­фор­ма, кото­рая поз­во­ля­ет извле­кать ста­ти­че­ские и дина­ми­че­ские дан­ные с сай­тов и добав­лять их в свои базы дан­ных для после­ду­ю­ще­го исполь­зо­ва­ния.

Такой про­цесс сбо­ра дан­ных назы­ва­ет­ся скра­пин­гом, пар­син­гом или кра­у­лин­гом. Эти дан­ные мож­но най­ти на стра­ни­цах сай­тов, а так­же с помо­щью поис­ко­вых систем. Ранее мы уже писа­ли о magic.import.io – подоб­ном сер­ви­се для извле­че­ния дан­ных.

Web Robots – инструменты для извлечения данных со страниц в Интернете
Фраг­мент сай­та Web Robots.

В раз­де­ле Projects мож­но най­ти при­ме­ры баз дан­ных и визу­а­ли­за­ций на осно­ве извле­чен­ных дан­ных с сай­тов.

Web Robots – инструменты для извлечения данных со страниц в Интернете
Фраг­мент сай­та Web Robots.

В раз­де­ле Сер­ви­сы пока­за­ны воз­мож­но­сти плат­фор­мы по извле­че­нию дан­ных. Так, мож­но извле­кать дина­ми­че­ские JavaScript-сай­ты, загру­жать дан­ные в сто­рон­ние базы дан­ных и т.д.

О том, как начать рабо­ту с плат­фор­мой, мож­но узнать в раз­де­ле Scraping Tutorial, в кото­ром пред­став­ле­на поша­го­вая инструк­ция. Для раз­ра­бот­чи­ков по Web Robots есть пол­ная доку­мен­та­ция.

Web Robots.