Веб-скрейпинг — сравнительно недавнее изобретение, призванное значительно упростить жизнь всем, кто так или иначе сталкивается с необходимостью сбора данных в Интернете. Скрейпинг (от англ. Scraping — соскабливание) — это технология, использующая скрипты для захода на сайт под видом обычного пользователя и собирающая информацию по заранее установленным параметрам. Таким образом, можно получать, обрабатывать, систематизировать и сохранять в обычном текстовом формате данные тысяч веб-страниц за считанные минуты.
По сути скрейпинг — это то, что делает человек, заходя на сайт. Он соскабливает нужные ему данные, заносит их в кору головного мозга и, возможно, даже раскладывает их там по ячейкам, столбцам и так далее. Веб-скрейпинг — это то же самое. Создается скрипт, скрипт имитирует пользователя, заходит под видом браузера на сайт, получает HTML код страницы, так же, как получил бы браузер пользователя, но не собирает из него страницу, а вытаскивает нужную текстовую информацию, классифицирует и раскладывает по ячейкам.
Для качественного скрейпинга нужно обладать навыками программирования, но на поверхностном уровне вы можете ознакомиться с технологией, посмотрев наш видеоурок. Технологию работы мы показываем на основе программы Outwit Hub, базового инструмента, не требующего навыков программирования.