Перевірка robots.txt і sitemap онлайн
Один рядок Disallow: / у robots.txt здатен викинути сайт із Google. Введіть адресу і перевірте, чи відкритий сайт для пошукових ботів і чи вказано sitemap.
Що робить перевірка robots.txt
Перевірка завантажує /robots.txt з кореня сайту і читає його правила так само, як пошуковий бот: до яких ботів застосовується кожна група правил, які шляхи закрито і які sitemap перелічено. Головне її завдання - зловити найдорожчу помилку, правило Disallow: / для всіх ботів чи для Googlebot, яке поступово прибирає весь сайт із пошуку.
Найчастіше так стається, коли тестовий сайт запускають у робочий режим разом із правилами блокування або коли SEO- чи захисний плагін записує правила, яких ніхто не перевірив. Повна перевірка знімає за це 4 бали, це один із найбільших штрафів.
Як читати результат
- Сайт для Googlebot: «відкритий» означає, що Googlebot може сканувати головну; «ЗАКРИТИЙ» означає, що до нього застосовується правило Disallow: /.
- Правила Disallow: шляхи, закриті для ботів. Закривати /wp-admin/ чи кошик - нормально; закривати папки з CSS чи JS може зашкодити тому, як Google бачить ваші сторінки.
- Sitemap у robots.txt: рядок Sitemap: допомагає всім пошуковикам знайти ваші сторінки, а не лише тим, куди ви надіслали карту сайту вручну.
- Файлу robots.txt немає: це не помилка, за замовчуванням дозволено все.
Повʼязані помилки та інструкції
Часті запитання
- Чи прибирає Disallow сторінку з Google?
- Ні. Він зупиняє сканування, але закрита сторінка все одно може зʼявитися в пошуку, якщо на неї посилаються інші сайти. Щоб сторінки не було в індексі, дозвольте сканування і додайте тег noindex.
- robots.txt - це захист?
- Ні. Файл публічний, і йому підкоряються лише ввічливі боти. Перелічені в ньому секретні шляхи, навпаки, підказують, де шукати.
- Як швидко Google помічає зміни?
- Зазвичай Google кешує robots.txt до 24 годин. Після зняття блокування запросіть індексацію ключових сторінок у Search Console, щоб прискорити процес.