• Блог
  • Расписание
  • Моя история
  • Команда
  • Контакты

+7 (988) 387-10-17

Написать

+7 (988) 387-10-17

Написать
Главная › Блог

КРАУЛИНГОВЫЙ БЮДЖЕТ, ОСНОВЫ И ОПТИМИЗАЦИЯ

21 ноября 2019

260

SEO-продвижение

  • Основы краулинг бюджета
  • Оптимизация краулинг бюджета

Краулингом (или кроулингом) у сеошников называется сканирование поисковыми роботами страниц веб-ресурса для их последующей индексации, чтобы сформировать в итоге поисковую выдачу. 

Бюджет краулинга – это предел каждого сайта по количеству сканирования. Максимальное число страниц, которые могут быть проиндексированы роботом в определенный промежуток времени.

Многие привязывают краулинг к Googlebot’у, потому что первыми это понятие ввели калифорнийцы, но разработка «прижилась» везде.

Важно помнить, что краулинговый бюджет назначается каждому сайту индивидуально, на основе его популярности, востребованности и серверной доступности.

Основы краулинг бюджета

Частенько краулинговый бюджет не затрагивается вообще. Это нормально, когда ваш ресурс небольшой или вы регулярно проводите оптимизацию другими методами. Но когда ресурс большой, то нужно оптимизировать краулинговый бюджет наравне с остальным, иначе ранжирование в поисковиках просядет – какие-то области сайта имеют шанс не проиндексироваться вообще и выпасть из вечный гонки под названием «поиск».

В принципе, оптимизация бюджета нужна лишь для того, чтобы карулеры не делали лишнюю работу. Например, пускай Google определит значение бюджета для индексации сайта равным 150 страниц за сутки. По идее это много, но для таких площадок как интернет-магазины, где товары регулярно обновляются, 150 страниц могут появиться даже за один день. И это не считая других «жизненно важных» для поиска страниц. Выходит, что за один проход краулер всего не осилит.

Еще один частый момент – индексируются «низкочастотные» страницы, а страницы с высокой частотой запроса – нет. В итоге страница условных розовых слонов располагается в выдаче гораздо выше страницы, где представлен весь ассортимент слонов, а не только розовых.

Получается, что пущенный на самотек краулинговый бюджет, неоптимизированный, приведет к неприятностям для всего ресурса. В самый нужный момент краулер исчерпает лимит и не дойдет до страниц, которые нужны. Индексация считай провалена.

Оптимизация краулинг бюджета

Выше упоминалось, что корни растут из Гугла, значит и за помощью логично обращаться к нему же. Мониторим статистику в Search-консоли - это самый верный способ. Меню «Прежние инструменты и отчеты» - «Статистика сканирования»

Мы увидим кривую числа запросов и несколько значений. Важный для нас  - называется «Количество сканирования страниц в день». Это то самое усредненное количество страничек, пройденных гугл-роботом или краулинг-бюджет.

Это не константа - цифра динамическая, может скакать вверх и вниз, но с небольшим шагом, а значит как показатель вполне нам сойдет.

Самый верный способ угрохать бюджет, получив  нулевой результат – это заставить робота натыкаться на ошибки индексации. Перво-наперво, фиксим сами, внутри:

  • Настраиваем sitemap.xml и robots.txt

Эти два маленьких волшебника подсказывают краулерам иерархию вашего ресурса, организацию содержимого, а значит – бесценны для индексирования.

Вот пара дельных советов:
Удалите или блокируйте напрочь в сайтмапе дубль-ссылки и откровенный мусор, который либо редиректит либо выдает ошибку сканирования. Кстати мусор оказывает самое прямое влияние еще и на качество индексации – роботы оценивают именно качество адресов URL. Значит – избавляемся от ненужного и оставляем только полезное!

В файле robots.txt выбираем страницы, которые реиндексировать не надо (потому что они не менялись) и указываем для таких параметр Last-modified.

  • Работаем над скоростью загрузки сайта

Тут все прозрачно – чем быстрее грузится сайт, тем быстрее его просканируют роботы. За один заход – максимально количество страниц.

  • Доводим до  ума редирект

Представьте, что до нужной страницы краулер продирается через массу редирект-ссылок. «Запал» бота может закончится буквально за одну ссылку до требуемой, поэтому наводите порядок – каждая редирект-ссылка это явная трата бюджета. Оставляем только те редиректы, без которых действительно не обойтись.

  • Подключайте возможности динамического рендеринга

Фишка сравнительно новая, но жутко удобная – краулер изучает html-вариант веб-ресура, посетитель – JavaScript. Спасибо Google за эту возможность.  

  • Внешняя ссылочная масса

Проверено, что большее количество внешних ссылок, ведущих к вам, приведет в результате в гости именно краулера. И происходить это будет тем чаще, чем больше ссылочная масса. 

Советы очень простые, следовать им еще легче, а результат будет того стоить, успехов!!
 

Онлайн-курс​

Создание прибыльного SEO проекта
своими руками

Как привлекать 1000 новых клиентов и стать
лидером в своей нише? Мы знаем!

Комментарии

Добавить комментарий

Более подробная информация о текстовых форматах

Простой текст

  • HTML-теги не обрабатываются и показываются как обычный текст
  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.
  • Строки и абзацы переносятся автоматически.

Читайте также:

20 декабря 2019

407

Маркетинг

НАСТРОЙКА РЕКЛАМЫ ДЛЯ НОВОГОДНИХ ПРАЗДНИКОВ
Настройка рекламы для новогодних праздников
Читать полностью

02 сентября 2020

160

Соц сети

КАК ПРОКАЧАТЬ БИЗНЕС С ПОМОЩЬЮ TikTok
Тик Ток для бизнеса
Читать полностью

14 ноября 2019

166

SEO-продвижение

SEO-продвижение за месяц. Ожидание - реальность
Читать полностью

Онлайн-курс​

Создание прибыльного SEO проекта
своими руками

Как привлекать 1000 новых клиентов и стать лидером в своей нише? Мы знаем!

Записаться на курс

Рубрики блога

  • SEO-продвижение48
  • Бизнес идеи1
  • Кино1
  • Лайфхак3
  • Маркетинг5
  • Продажи5
  • Соц сети3
 

Рекомендуемые статьи

03 июня 2020

148

SEO-продвижение

ДОБАВЛЕНИЕ МЕТАТЕГОВ В BITRIX, JOOMLA, WORDPRESS И DRUPAL
Читать полностью

05 августа 2020

129

Маркетинг

СОВРЕМЕННЫЕ SAAS-РЕШЕНИЯ ДЛЯ УПРАВЛЕНИЯ ЛОЯЛЬНОСТЬЮ
СОВРЕМЕННЫЕ SAAS-РЕШЕНИЯ ДЛЯ УПРАВЛЕНИЯ ЛОЯЛЬНОСТЬЮ
Читать полностью

03 декабря 2019

183

SEO-продвижение

5 особенностей автостратегий Яндекса и Google
Читать полностью

24 апреля 2019

310

Лайфхак

Как овладеть навыком быстрой печати на клавиатуре?!
Читать полностью

31 октября 2019

256

SEO-продвижение

Сайты-аффилиаты и аффилиат-фильтры
Читать полностью

Запись на курсы

Запись на курс

Курсы SEO-продвижения
Артёма Ирошникова. © 2019 г.

+7 (988) 387-10-17

me@artem-iroshnikov.ru

г. Краснодар, ул. Красных Партизан, 222

  • Блог
  • Расписание
  • Моя история
  • Команда
  • Контакты
  • Telegram
  • Facebook
  • YouTube
  • Instagram
  • VK
  • Twitter