Robots.txt

Robots.txt — один из старейших стандартов веба, придуманный ещё в 1994 году. Это обычный текстовый файл, который живёт по адресу yourdomain.com/robots.txt и содержит директивы для поисковых роботов: что индексировать, а что обходить стороной. Простой, как молоток 🐗 — но настроить неправильно очень легко.

Внутри файла прописываются правила через директивы User-agent (кому правило адресовано), Disallow (запрещённые пути) и Allow (разрешённые). Например, `User-agent: *` с `Disallow: /admin/` закроет папку админки от всех роботов. В SEO это инструмент управления краулинговым бюджетом: если у тебя интернет-магазин с тысячами фильтров и дублей, без грамотного robots.txt Googlebot будет бесконечно жевать мусорные URL вместо важных страниц. В арбитражном контексте — на дорвейных проектах и сайтах под клоакинг robots.txt используют, чтобы аккуратно управлять тем, что видит бот, а что — нет 😩. Туда же прописывается путь к Sitemap: `Sitemap: https://yourdomain.com/sitemap.xml` — это базовый гигиенический минимум.

Главная ловушка — закрыть лишнее и положить себе весь сайт. Классика жанра: `Disallow: /` на проде после копипасты настроек со стейджинга. Сайт выпадает из индекса, паника, звонки, 😆 — смешно только со стороны. Ещё один косяк — думать, что robots.txt это защита. Это не так: файл носит рекомендательный характер, злой бот его проигнорирует без зазрения совести 🗿. Для реальной защиты нужны пароли и серверные правила. Нормально делай — нормально будет 🐗