Robot.txt फाइल को ब्लॉगर वेबसाइट में कैसे ऐड करे है? robot.txt क्या है, आपने कभी इसके बारे में सुना है, अगर नहीं तो आज इस आर्टिकल में आपको robot.txt के बारे में जानकारी प्राप्त होने वाली है। अगर आपके पास कोई ब्लॉग या वेबसाइट है तो आपने महसूस किया होगा कि कभी-कभी वह सारी जानकारी जो हम नहीं चाहते हैं वह इंटरनेट पर सार्वजनिक हो जाती है। ऐसा क्यों होता है, की हमारे कई अच्छे कंटेंट लंबे समय के बाद भी इंडेक्स नहीं होते। इन सब का कारण होता है robot.txt फाइल का ब्लॉगर वेबसाइट में सही तरह से ऐड ना होना।

robot meta tag का उपयोग सर्च इंजन को यह बताने के लिए करते है कि वेबसाइट में विजिटर को कौन सी फाइल और फोल्डर दिखाना है, और कौन सी चीजें नहीं। लेकिन सभी search engine मेटाटैग को पढ़ना नहीं जानते हैं, इतने बहुत सारे रोबोट तो मेटाटैग को पढ़े बिना ही आगे बढ़ जाते हैं।

इसके लिए सबसे अच्छा तरीका है कि आप robot.txt फाइल का इस्तेमाल करें ताकि सर्च इंजन को आपकी वेबसाइट या ब्लॉग की फाइल और फोल्डर के बारे में आसानी से जानकारी मिल सके। तो इसलिए यह जानना जरुरी है कि robot.txt फाइल को ब्लॉगर वेबसाइट में कैसे ऐड करे?

robot.txt file क्या है? What is robot.txt file in hindi?

robot.txt फ़ाइलें वेबसाइटों की मूल निर्देशिका में स्थित होती हैं (उदा. yourdomain.com/robots.txt) और यह सुझाव देती हैं कि आपकी साइट के किन हिस्सों को search engine को क्रॉल करना चाहिए और क्या नहीं, साथ ही वह विशिष्ट robot.txt निर्देशों के माध्यम से गति के साथ आपकी साइट को क्रॉल करते है।

googlebot, robot.txt फ़ाइलों के साथ कैसा व्यवहार करता है, अगर googlebot को किसी साइट के लिए robot.txt फ़ाइल नहीं मिलती है, तो वह उस साइट को क्रॉल करने के लिए आगे बढ़ता है। अगर googlebot को किसी साइट के लिए robot.txt फ़ाइल मिलती है, तो वह आमतौर पर सुझावों का पालन करेगा और साइट को क्रॉल करने के लिए आगे बढ़ेगा।

यदि किसी साइट की robots.txt फ़ाइल तक पहुँचने का प्रयास करते समय googlebot को कोई त्रुटि मिलती है और यह निर्धारित नहीं कर सकता कि कोई साईट मौजूद है या नहीं, तो यह उस साइट को क्रॉल नहीं करेगा।

सभी वेब रोबोट robots.txt का अनुसरण नहीं करते हैं। बुरे इरादे वाले लोग (जैसे, ई-मेल एड्रेस स्क्रेपर्स) ऐसे बॉट बनाते हैं जो इस प्रोटोकॉल का पालन नहीं करते हैं। वास्तव में, कुछ बुरे ऐक्टर robot.txt फ़ाइलों का उपयोग यह पता लगाने के लिए करते हैं कि आपने अपनी निजी सामग्री कहाँ स्थित की है।

यद्यपि क्रॉलर को लॉगिन और व्यवस्थापन पृष्ठों जैसे निजी पृष्ठों से ब्लॉक करना तर्कसंगत लग सकता है ताकि वे अनुक्रमणिका में दिखाई न दें, उन url के स्थान को सार्वजनिक रूप से सुलभ robots.txt फ़ाइल में रखने का अर्थ यह भी है कि दुर्भावनापूर्ण इरादे वाले लोग उन्हें और आसानी से ढूंढ सकते हैं। इन पृष्ठों को no index करना और उन्हें अपनी robot.txt फ़ाइल में रखने के बजाय एक लॉगिन फ़ॉर्म के पीछे रखना बेहतर है।

robot.txt फ़ाइल को ब्लॉगर में कैसे ऐड करे? How to add robot.txt file in blogger? 

ब्लॉगर में आपको सेटिंग्स custom robot.txt फाइल का ऑप्शन मिलेगा, जब हम अपने ब्लॉगर वेबसाइट को SEO फ्रेंडली बनाते हैं तो हमें इस robots.txt फाइल का यूज़ जरूर करना चाहिए, जिसे ज्यादातर लोग ऐसे ही छोड़ देते हैं। यदि आप इस विकल्प को छोड़ देते हैं, तो ब्लॉगर स्वतः ही आपके लिए सबसे अच्छी robots.txt फ़ाइल बनाता है, लेकिन यदि आप चाहते हैं कि आपके ब्लॉग के कुछ हिस्से search engine में छिपे हों, तो आप ऐसा कर सकते हैं, लेकिन यदि आप ब्लॉगिंग को गंभीरता से ले रहे हैं। तो आपको अपने ब्लॉगर वेबसाइट में robot.txt फाइल को ऐड करना चाहिए। इसमें कुछ पॉइंट है, जिन्हे समझना जरुरी है। 

Allow: यदि आप किसी text फ़ाइल के अंदर किसी चीज़ की अनुमति देते हैं, तो इसका मतलब है कि आप चाहते हैं कि यह भाग search engine में दिखाई दे।

Disallow: यदि आप किसी पोस्ट को अस्वीकार कर रहे हैं, तो इसका मतलब है कि आप नहीं चाहते कि यह भाग search engine में दिखाई दे।

User-agent: इस विकल्प का उपयोग करके, आप अपने विजिटर को दिखा सकते हैं कि आप अपनी साइट पर क्या दिखाना चाहते हैं, जैसे कि images का source, यह फ़ाइल कहाँ store की गई है आदि।

• Meta Tag Description क्या होता है इसे Blogger में कैसे Add करे?
• वेबसाइट की Domain Authority कैसे बढ़ाये 30 दिनों में गारंटी के साथ।
• Permalink किसे कहते है, और ब्लॉगिंग में इसका महत्व?
• RSS Feed क्या है, और Blogging में इसका लाभ?
• वेबसाइट की Domain Authority (DA) क्या है, और इसे कैसे बढ़ाएं?

User-agent: Mediapartners-Google: इसका उपयोग करके आप उपयोगकर्ता से adsense code को छुपा सकते हैं, यदि आप इसे अस्वीकार करते हैं, तो Google AdSense आपकी साइट में विज्ञापन नहीं दिखा पाएगा, इसलिए आपको इसे हमेशा अनुमति देना चाहिए।

robot.txt फाइल को ऐड करने का तरीका।  

1. सबसे पहले ब्लॉगर की सेटिंग में जाएं, फिर crawlers and indexing के ऑप्शन में custom robots.txt को enable करके उस पर क्लिक करें।

2. अब आपको नीचे दिए गए कोड को कॉपी करके बॉक्स के अंदर पेस्ट करके उसे सेव कर लेना है।

User-agent: Mediapartners-Google

Disallow:

User-agent:

Disallow: /search

Allow: /

Sitemap: http://www.hindiwebbook.com/sitemap.xml

अंत में  

इस लेख के माध्यम से हमने आपको “Simple Trick से ब्लॉगर वेबसाइट में Robots.txt फाइल को ऐड करे?” के बारे में पूरी जानकारी देने का प्रयास किया है, हमें पूरी उम्मीद है कि अगर आपके पास इस लेख से संबंधित कोई जानकारी है तो यह जानकारी आपके लिए बहुत उपयोगी साबित होगी। अगर कोई सुझाव है तो आप कमेंट बॉक्स के जरिए हम तक पहुंच सकते हैं। आप इस जानकारी को अपने दोस्तों और सोशल मीडिया पर जरूर शेयर करें। धन्यवाद!