Почему важно не загружать поиск Яндекса некачественными страницами с сайта? Кейс

Мы с вами знаем о важности такого инструмента, как robots.txt. Однако при работе с сайтом часто забываем о его корректности и полноте заполнения (например, когда вводим на сайт фильтры, дополнительный функционал и новые разделы).

Если даже пару месяцев не приближаться к редактированию данного файла, то можно получить следующую картину:

Объем некачественных страниц с сайта составляет 54 898 по состоянию на 29 августа 2021 года. 

ВАЖНО!
Яндекс не может обойти все страницы сайта сразу, поэтому первый эффект от корректировок в robots.txt вы увидите через неделю, а полностью доработки в robots.txt будут отражены через месяц (информация приводится для сайтов с большим числом url-адресов. Сайты с несколькими сотнями страниц могут обойтись и за меньший срок).

По прошествии месяца с постоянными доработками и расширением robots.txt через SEO-специалиста (без привлечения IT-специалистов и проработки кода сайта) количество подобных страниц сократилось до 8 132 штук к 22 сентября 2021 года.

Какие страницы при этом были выявлены и устранены из robots.txt:

• PDF-файлы (в данном случае генерировали новый путь при обновлении товарной карточки) создавали в индексе url-адреса с ошибками 404 и 301.

• Не были отражены GET-параметры в Clean-param (даже при дополнении подобных страниц атрибутом rel=“canonical” рекомендуем, чтобы не плодить дубли в поиске Яндекса, также вносить их в Clean-param — оставляем вес страницы на ней). 

• Закрываем страницы с дублями от индексации (если это возможно). В нашем случае на сайте присутствовали внутренние папки, в которых хранились дубли товарных позиций.

• Начните прорабатывать малоценные и маловостребованные страницы (обычно это пустые страницы или, как на данном сайте, страницы с отзывами, на которых нет ни одного отзыва).

• Также всегда можно воспользоваться инструментом по удалению страниц с кодом 404 прямо в Вебмастере.

• Если есть возможность привлечь IT-специалиста, смело это делайте, так как все оставшиеся страницы можно устранить, если грамотно сформировать техническое задание для IT-отдела.

Итог работы по расширению/проработке robots.txt на интернет-магазине (в посетителях) за месяц.

Мы получили рост посетителей с ежедневных показателей со 110 человек во второй половине августа до 160-170 человек во второй половине сентября (+50% посетителей на страницы разделов каталога / товарные страницы из поисковых систем).

Будем продолжать дальнейшую работу с robots.txt для интернет-магазина. Советуем вам не откладывать работу с robots в долгий ящик.

Ваши трудолюбивые пчёлы из SEO-Улья Redbee.