Technischer Leitfaden: Robots.txt Protokoll (RFC 9309)
1. Was ist robots.txt?
Gibt Suchmaschinen-Bots Anweisungen zum Crawlen von URLs.
2. Disallow vs noindex Meta-Tag
Disallow verhindert den Crawl; noindex verhindert die Indexierung.
Visueller Generator und Validator für robots.txt (RFC 9309). KI-Scraper blockieren und Crawl-Budget schonen.
User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /checkout/ Disallow: /private/ Allow: / Sitemap: https://utilsbox-neon.dev/sitemap.xml
Gibt Suchmaschinen-Bots Anweisungen zum Crawlen von URLs.
Disallow verhindert den Crawl; noindex verhindert die Indexierung.