Guide Technique : Protocole Robots.txt (RFC 9309)
1. Qu’est-ce que robots.txt ?
Indique aux robots d’indexation les URL accessibles sur le site.
2. Disallow vs balise meta noindex
Disallow bloque le crawl, mais la balise noindex est requise pour bloquer l’indexation.