Заказать сайт
Индексация сайта

Можно ли управлять индексацией веб-сайта в Яндексе?

Поисковое продвижение web-ресурсов неразрывно связано с понятием индексации. Под данным термином понимается принятие площадки во внимание поисковым роботом. Если web-сайт не попадает в индекс поисковиков, то он не отображается в результатах поисковой выдачи, а, следовательно, становится недоступен для пользователя. Web-сайт может не попасть в индекс с лёгкой руки поисковика, но, к счастью, владелец ресурса имеет возможность воздействовать на данный процесс.

Когда целесообразна ограниченная индексация?

Поскольку индексация web-сайта на Yandex, а именно он является одним из самых популярных поисковиков, равносильна отражению площадки в результатах поисковой выдачи, то ограничение индексации нужно в тех случаях, когда необходимо не выносить на всеобщее обозревание определённые страницы web-сайта. Каждый сайт состоит не только из видимых, но и невидимых пользователю разделов, в которых хранится техническая информация, конфиденциальные данные и прочее, что не должно стать достоянием общественности. Поэтому полная индексация web-сайта на Yandex не всегда целесообразна, ведь она сделает доступными абсолютно все разделы web-сайта, включая те, которые должны оставаться за кадром. На практике бесконтрольность индексации может дорого обойтись владельцу web-ресурса. Например, если речь идёт о портале, предоставляющем услуги на условиях анонимности, то информация о клиентах такой площадки должна храниться под грифом строгой секретности. Если же по ошибке поисковая система проиндексирует такую скрытую страницу, то конфиденциальная информация о клиентах, пожелавших остаться инкогнито, станет общедоступной для всех пользователей сети, что является грубейшим нарушением гражданских прав. В таком случае клиенты имеют полное право подать в суд на компанию, которая не смогла выполнить свои обязательства по обеспечению безопасности личных данных, имеющих конфиденциальный статус.

Каким образом ограничить индексацию веб-ресурса?

Чтобы индексация web-сайта на Yandex была управляемым процессом, то есть зависела не только от поисковой системы, но и подчинялась воле владельца ресурса, необходимо задать соответствующую команду поисковому роботу. Поскольку обычного человеческого языка он не понимает, необходимо «общаться» с ним на языке директив. Для обеспечения взаимодействия между поисковым роботом и владельцем web-сайта в контексте порядка индексации служит рабочий инструмент robots. txt, размещенный в корневом каталоге web-сайта. Данный file содержит команды для поисковых роботов относительно полноты индексации web-сайта. С помощью определённых директив можно «приказать» определённому поисковику полностью или частично выводить площадку на обозрение пользователей или вовсе скрыть её от глаз обитателей сети. К основным директивам, необходимым для отдачи команд поисковикам, относятся юзер-агент (определяет, для какой именно поисковой системы отданы команды), Allow (разрешает индексацию web-сайта = снимает запрет на индексацию), Disallow (скрывает web-сайт или отдельные его разделы от глаз пользователей). Существует также множество дополнительных директив, которые позволяют указывать основное зеркало web-сайта (Host), путь к file карты web-сайта (Sitemap), устанавливать интервал, периодичность и время загрузки страниц (Crawl-delay, Request-rate и Visit-time соответственно).

Что делать если file robots. txt не обнаружен?

Если в корневой директории web-ресурса file robots. txt отсутствует, то его можно легко создать с помощью программы «Блокнот». Главное – правильно назвать file с точностью до символа ведь если в названии file будет допущена хотя бы единая описка, то поисковый робот не обратится к нему, зайдя на web-сайт, и все прописанные в file команды будут им проигнорированы. Уже готовый и заполненный директивами file robots. txt легко проверить на правильность составления. Для этого существует специальный сервис Yandex.Вебмастер с его незаменимым инструментом «Анализ», который по доменному имени web-сайта выдаёт все ошибки.

Бесплатно проверю вашу компанию
по чек листу из 117 пунктов