«Яндекс» больше не учитывает ошибки из Disallow

Исправление ошибки по распознаванию директивы из robots.txt в «Яндекс.Поиске» упростит индексацию и отменить некоторые привычные вебмастерам моменты. Директива Allow без параметров больше не будет распознаваться как повод для индексирования пустого множества страниц. Эта же функция работала в порядке запрещающей при указании в disallow: *. Этот прием полностью запрещал индексацию странниц сайта.

Ошибку при парсинге долго использовали для реальных проектов. Теперь «Яндекс» категорически против эксплуатации директив в таком ключе. Нельзя полагаться на ненадежное поведение Disallow: *. Вебмастерам советуют прибегнуть к традиционному варианту и дополнить условие User-agent, если есть необходимость отобрать поисковики, с которыми работа не будет производиться.

«Яндекс.Вебмастер» имеет все необходимые функции для отображения статуса файла robots.txt. В том числе, имеется опция для наглядного представления доступных и недоступных страниц. Проверить, будет ли робот обходить конкретные страницы, можно в специальной удобной форме там же. При изменении robots.txt в этом сервисе файл на сайте остается прежним. Для обновления сайта необходимо загрузить свежий документ для роботов на сайт.

Правильная настройка robots.txt описана в руководстве «Яндекса», которое доступно любому желающему. Если что-то в документе становится непонятным – в сети можно найти множество разъяснительных статей и блогов, целиком посвященных продвижению в этой поисковой системе. Материалы доступны и актуальны для вебмастеров и владельцев сайтов.