Краулер

Краулер (он же паук, он же бот) — программа поисковой системы, которая обходит страницы интернета по ссылкам, скачивает контент и передаёт его на индексацию. Гуглу вот уже больше 25 лет, и всё это время Googlebot не сидит на месте — он буквально не останавливается. 🐗

Механика простая: краулер стартует с какого-то набора URL, скачивает HTML-страницу, вытаскивает из неё все ссылки, добавляет их в очередь и идёт дальше. Это называется breadth-first или depth-first обход — зависит от реализации. Для SEO-шника тут важно понять: краулер не приходит к тебе каждый день. У каждого сайта есть свой crawl budget — условный лимит страниц, которые бот готов обойти за визит. Залил 100 500 страниц говна в индекс — жди, что важные разделы будут сканироваться реже. Помимо Googlebot, есть Bingbot, Yandex-бот, и куча мелких — от агрегаторов до SEO-инструментов типа Ahrefs и Screaming Frog. Последние вообще имитируют краулинг для аудита твоего сайта: ты сам можешь запустить паука и посмотреть, что видит Гугл. В нутре и гемблинге это особенно критично — клоакинг построен ровно на том, чтобы краулер видел вайт-пейдж, а живой юзер — оффер 😆.

Главная засада — краулер видит только то, что ему позволяют. Закрыл нужный раздел в robots.txt или поставил noindex — всё, страница вылетает из рассмотрения. Медленный сервер, кривые редиректы, дублированный контент, JS-рендеринг без SSR — всё это режет crawl budget и бьёт по позициям 😩. Регулярно прогоняй сайт краулером типа Screaming Frog, следи за краулинг-статистикой в Search Console и не захламляй сайт техническим мусором. Нормально делай — нормально будет 🐗