Видеоурок Теплицы: как добавить и правильно оформить файл robots.txt

Понятие robots.txt на слуху. Наверняка вы хотя бы раз слышали об этом файле, но не знаете, что это и зачем он нужен. А это важный элемент в поисковой оптимизации. Файл robots.txt регулирует ваши отношения с поисковым роботом. Точнее, отношения между вашим сайтом и поисковым роботом.

Это текстовый файл, который содержит инструкции для индексации конкретного сайта. Он указывает поисковиками, какие страницы веб-ресурса нужно проиндексировать, а какие не стоит отображать в поиске.