Мы с вами знаем о важности такого инструмента, как robots.txt. Однако при работе с сайтом часто забываем о его корректности и полноте заполнения (например, когда вводим на сайт фильтры, дополнительный функционал и новые разделы).
Если даже пару месяцев не приближаться к редактированию данного файла, то можно получить следующую картину:
Объем некачественных страниц с сайта составляет 54 898 по состоянию на 29 августа 2021 года.
ВАЖНО!
Яндекс не может обойти все страницы сайта сразу, поэтому первый эффект от корректировок в robots.txt вы увидите через неделю, а полностью доработки в robots.txt будут отражены через месяц (информация приводится для сайтов с большим числом url-адресов. Сайты с несколькими сотнями страниц могут обойтись и за меньший срок).
По прошествии месяца с постоянными доработками и расширением robots.txt через SEO-специалиста (без привлечения IT-специалистов и проработки кода сайта) количество подобных страниц сократилось до 8 132 штук к 22 сентября 2021 года.
Какие страницы при этом были выявлены и устранены из robots.txt:
-
PDF-файлы (в данном случае генерировали новый путь при обновлении товарной карточки) создавали в индексе url-адреса с ошибками 404 и 301.
-
Не были отражены GET-параметры в Clean-param (даже при дополнении подобных страниц атрибутом rel=“canonical” рекомендуем, чтобы не плодить дубли в поиске Яндекса, также вносить их в Clean-param — оставляем вес страницы на ней).
-
Закрываем страницы с дублями от индексации (если это возможно). В нашем случае на сайте присутствовали внутренние папки, в которых хранились дубли товарных позиций.
-
Начните прорабатывать малоценные и маловостребованные страницы (обычно это пустые страницы или, как на данном сайте, страницы с отзывами, на которых нет ни одного отзыва).
-
Также всегда можно воспользоваться инструментом по удалению страниц с кодом 404 прямо в Вебмастере.
-
Если есть возможность привлечь IT-специалиста, смело это делайте, так как все оставшиеся страницы можно устранить, если грамотно сформировать техническое задание для IT-отдела.
Итог работы по расширению/проработке robots.txt на интернет-магазине (в посетителях) за месяц.
Мы получили рост посетителей с ежедневных показателей со 110 человек во второй половине августа до 160-170 человек во второй половине сентября (+50% посетителей на страницы разделов каталога / товарные страницы из поисковых систем).
Будем продолжать дальнейшую работу с robots.txt для интернет-магазина. Советуем вам не откладывать работу с robots в долгий ящик.
Ваши трудолюбивые пчёлы из SEO-Улья Redbee.
Статью подготовил:

Статью подготовил:
БЛОГ
Вам будет интересно почитать
Заявка
Готовы увеличить продажи?

АЛИСА ПАНОВА, SERM-специалист