Guida Tecnica: Protocollo Robots.txt (RFC 9309)
1. Cos’è robots.txt?
Comunica ai crawler le pagine accessibili per ottimizzare le risorse del server.
2. Disallow vs Tag noindex
Disallow blocca la scansione, noindex impedisce l’indicizzazione su Google.