Сканирование

Сканирование (краулинг) — это процесс, при котором поисковый бот (Googlebot, Yandex Bot и другие) обходит страницы сайта, следуя по ссылкам, читая контент и передавая данные в индекс. 🐗 По сути, это первый рукопожим между твоим сайтом и поисковиком — если бот тебя не посетил, тебя для него не существует.

Механика простая: у поисковика есть очередь URL, которые нужно обойти. Бот приходит на страницу, скачивает HTML, парсит ссылки и добавляет новые адреса в очередь. Частота и глубина сканирования зависит от краулингового бюджета — и вот тут начинается боль 😩. Если у тебя сайт на 50 000 страниц, а бот тратит бюджет на мусорные фильтры, дубли и пагинацию — до нормального контента он может вообще не добраться. В SEO под гемблинг или нутру это критично: залил новые лендинги, а они не сканируются неделю — капа горит, а трафик нулевой. Контролировать поведение бота можно через robots.txt (запрет/разрешение путей), параметры crawl delay, sitemap и внутреннюю перелинковку. Чем лучше структура сайта — тем предсказуемее бот, тем быстрее новые страницы попадают в индекс.

Главные ошибки: закрыть важные страницы в robots.txt и забыть об этом 😆 — классика жанра, встречается даже у матёрых вебмастеров. Или накрутить миллион URL через параметры сессий и положить краулинговый бюджет в дрова 🗿. Ещё хуёво работает сканирование на медленных серверах — бот приходит, таймаутится и уходит. Следи за краулинговым бюджетом в Google Search Console, убивай мусорные URL, держи сервер бодрым. Нормально делай — нормально будет 🐗