Проверка robots.txt и sitemap онлайн
Одна строка Disallow: / в robots.txt может выкинуть сайт из Google. Введите адрес и проверьте, открыт ли сайт для поисковых ботов и указан ли sitemap.
Что делает проверка robots.txt
Проверка загружает /robots.txt из корня сайта и читает его правила так же, как поисковый бот: к каким ботам относится каждая группа правил, какие пути закрыты и какие sitemap перечислены. Ее главная задача в том, чтобы поймать самую дорогую ошибку: правило Disallow: / для всех ботов или для Googlebot, которое постепенно убирает весь сайт из поиска.
Чаще всего так происходит, когда тестовый сайт запускают в рабочем режиме вместе с правилами блокировки или когда SEO- или защитный плагин записывает правила, которые никто не проверил. Полная проверка снимает за это 4 балла, это один из самых больших штрафов.
Как читать результат
- Сайт для Googlebot: «открыт» значит, что Googlebot может сканировать главную; «ЗАКРЫТ» значит, что к нему применяется правило Disallow: /.
- Правила Disallow: пути, закрытые для ботов. Закрывать /wp-admin/ или корзину нормально; закрывать папки с CSS или JS может навредить тому, как Google видит ваши страницы.
- Sitemap в robots.txt: строка Sitemap: помогает всем поисковикам найти ваши страницы, а не только тем, куда вы отправили карту сайта вручную.
- Файла robots.txt нет: это не ошибка, по умолчанию разрешено все.
Подробнее по теме
Частые вопросы
- Убирает ли Disallow страницу из Google?
- Нет. Он останавливает сканирование, но закрытая страница все равно может появиться в поиске, если на нее ссылаются другие сайты. Чтобы страницы не было в индексе, разрешите сканирование и добавьте тег noindex.
- robots.txt защищает сайт?
- Нет. Файл публичный, и ему подчиняются только вежливые боты. Перечисленные в нем секретные пути, наоборот, подсказывают, где искать.
- Как быстро Google замечает изменения?
- Обычно Google кеширует robots.txt до 24 часов. После снятия блокировки запросите индексацию ключевых страниц в Search Console, чтобы ускорить процесс.