Guia Técnico: Protocolo Robots.txt (RFC 9309)
1. O que é robots.txt?
Instrui os bots sobre quais URLs podem rastrear no site.
2. Disallow vs Meta Tag noindex
Disallow impede o rastreamento, mas não impede a indexação caso haja links externos.
Gerador visual e validador de robots.txt (RFC 9309). Bloqueie bots de IA, proteja áreas restritas e otimize seu Crawl Budget.
User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /checkout/ Disallow: /private/ Allow: / Sitemap: https://utilsbox-neon.dev/sitemap.xml
Instrui os bots sobre quais URLs podem rastrear no site.
Disallow impede o rastreamento, mas não impede a indexação caso haja links externos.