КРАУЛИНГОВЫЙ БЮДЖЕТ, ОСНОВЫ И ОПТИМИЗАЦИЯ

• Основы краулинг бюджета
• Оптимизация краулинг бюджета

Краулингом (или кроулингом) у сеошников называется сканирование поисковыми роботами страниц веб-ресурса для их последующей индексации, чтобы сформировать в итоге поисковую выдачу. 

Бюджет краулинга – это предел каждого сайта по количеству сканирования. Максимальное число страниц, которые могут быть проиндексированы роботом в определенный промежуток времени.

Многие привязывают краулинг к Googlebot’у, потому что первыми это понятие ввели калифорнийцы, но разработка «прижилась» везде.

Важно помнить, что краулинговый бюджет назначается каждому сайту индивидуально, на основе его популярности, востребованности и серверной доступности.

Основы краулинг бюджета

Частенько краулинговый бюджет не затрагивается вообще. Это нормально, когда ваш ресурс небольшой или вы регулярно проводите оптимизацию другими методами. Но когда ресурс большой, то нужно оптимизировать краулинговый бюджет наравне с остальным, иначе ранжирование в поисковиках просядет – какие-то области сайта имеют шанс не проиндексироваться вообще и выпасть из вечный гонки под названием «поиск».

В принципе, оптимизация бюджета нужна лишь для того, чтобы карулеры не делали лишнюю работу. Например, пускай Google определит значение бюджета для индексации сайта равным 150 страниц за сутки. По идее это много, но для таких площадок как интернет-магазины, где товары регулярно обновляются, 150 страниц могут появиться даже за один день. И это не считая других «жизненно важных» для поиска страниц. Выходит, что за один проход краулер всего не осилит.

Еще один частый момент – индексируются «низкочастотные» страницы, а страницы с высокой частотой запроса – нет. В итоге страница условных розовых слонов располагается в выдаче гораздо выше страницы, где представлен весь ассортимент слонов, а не только розовых.

Получается, что пущенный на самотек краулинговый бюджет, неоптимизированный, приведет к неприятностям для всего ресурса. В самый нужный момент краулер исчерпает лимит и не дойдет до страниц, которые нужны. Индексация считай провалена.

Оптимизация краулинг бюджета

Выше упоминалось, что корни растут из Гугла, значит и за помощью логично обращаться к нему же. Мониторим статистику в Search-консоли - это самый верный способ. Меню «Прежние инструменты и отчеты» - «Статистика сканирования»

Мы увидим кривую числа запросов и несколько значений. Важный для нас  - называется «Количество сканирования страниц в день». Это то самое усредненное количество страничек, пройденных гугл-роботом или краулинг-бюджет.

Это не константа - цифра динамическая, может скакать вверх и вниз, но с небольшим шагом, а значит как показатель вполне нам сойдет.

Самый верный способ угрохать бюджет, получив  нулевой результат – это заставить робота натыкаться на ошибки индексации. Перво-наперво, фиксим сами, внутри:

• Настраиваем sitemap.xml и robots.txt

Эти два маленьких волшебника подсказывают краулерам иерархию вашего ресурса, организацию содержимого, а значит – бесценны для индексирования.

Вот пара дельных советов:
Удалите или блокируйте напрочь в сайтмапе дубль-ссылки и откровенный мусор, который либо редиректит либо выдает ошибку сканирования. Кстати мусор оказывает самое прямое влияние еще и на качество индексации – роботы оценивают именно качество адресов URL. Значит – избавляемся от ненужного и оставляем только полезное!

В файле robots.txt выбираем страницы, которые реиндексировать не надо (потому что они не менялись) и указываем для таких параметр Last-modified.

• Работаем над скоростью загрузки сайта

Тут все прозрачно – чем быстрее грузится сайт, тем быстрее его просканируют роботы. За один заход – максимально количество страниц.

• Доводим до  ума редирект

Представьте, что до нужной страницы краулер продирается через массу редирект-ссылок. «Запал» бота может закончится буквально за одну ссылку до требуемой, поэтому наводите порядок – каждая редирект-ссылка это явная трата бюджета. Оставляем только те редиректы, без которых действительно не обойтись.

• Подключайте возможности динамического рендеринга

Фишка сравнительно новая, но жутко удобная – краулер изучает html-вариант веб-ресура, посетитель – JavaScript. Спасибо Google за эту возможность.  

• Внешняя ссылочная масса

Проверено, что большее количество внешних ссылок, ведущих к вам, приведет в результате в гости именно краулера. И происходить это будет тем чаще, чем больше ссылочная масса. 

Советы очень простые, следовать им еще легче, а результат будет того стоить, успехов!!