Guía Técnica: Protocolo de Exclusión Robots.txt (RFC 9309)
1. ¿Qué es robots.txt y cómo funciona el RFC 9309?
El archivo robots.txt indica a los motores de búsqueda qué rutas pueden o no rastrear. Es fundamental para optimizar el presupuesto de rastreo (Crawl Budget).
2. Disallow vs Meta Tag noindex: El Gran Error Común
Disallow previene que los bots descarguen la página, pero si la URL recibe enlaces externos, Google aún puede indexarla sin contenido. Para evitar indexación total, use la etiqueta meta noindex.