तकनीकी गाइड: Robots.txt प्रोटोकॉल (RFC 9309)
1. robots.txt क्या है?
सर्च इंजन बॉट्स को बताता है कि साइट पर कौन से URL क्रॉल किए जा सकते हैं।
2. Disallow बनाम meta noindex टैग
Disallow क्रॉलिंग को रोकता है, जबकि meta noindex इंडेक्सिंग को पूरी तरह से रोकता है।