robot.txt file kiya hai or yah kaise dikhta hai|robot.txt फाइल क्या है और यह कैसे दिखते

 

Robot.txt फाइल क्या है

Robot.txt यह है कि अगर आपका कोई वेबसाइट है तो क्रॉलर उस वेबसाइट में आता है क्रॉलर वेबसाइट को कॉल करता है और उस वेबसाइट में जो कंटेंट है उसको समझता है उस कंटेंट की कैटेगरी बनाएगा और उस कंटेंट किस बारे में है उसको समझेगा और यह सब सारा इंफॉर्मेशन कलेक्ट करेगा और उस आर्टिकल या कंटेंट को इंडेक्स करके अपने सरवर में रख लेगा अगर कोई भी यूजर आएगा और उस कंटेंट के बारे में कोई भी कीवर्ड सर्च करेगा तो उसे उस यूजर को आपका वेबसाइट दिखाएगा और बस यही सब एक छोटा सा प्रोसेस है और robot.txt का|

अब यहां इस बात को हम समझने की कोशिश करेंगे कि robot.txt  से हम क्या कर सकते हैं और हम सर्च इंजन को इंस्ट्रक्शन दे सकते हैं कि हमारे वेबसाइट के किस पेज पर जाएं और किस पेज पर ना जाए लेकिन यहां पर एक confusion होता है कि ऐसा हम क्यों करें कि एक पेज को इंडेक्स करें और दूसरे पेज को इंडेक्स ना करें क्योंकि हमारे पॉइंट ऑफ यू से हमें यह समझ में आता है कि हमारे वेबसाइट में जितने जितने भी तेजस हैं इस वेबसाइट के सारे पेजेस को स्क्रोल कराना है रोबोट को बताना है ताकि रोबोट को समझ में आ सके कि हमारे वेबसाइट में कंटेंट भी किस बारे में है

और हमें रोबोट टेक्स्ट फाइल को हम यह इंफॉर्मेशन देते हैं कि हमारी वेबसाइट की किस पेजेस में जाना है और किस पेजेस में नहीं जाना है अब हम कभी अपने पेज ya पोस्ट को अपने वेबसाइट में इंडेक्स करवाते हैं तो जो  हमारे पेज ya वेबसाइट में आता है तू वह किस फाइल को बोलता है वह सबसे पहले और Robot.txt फाइल को ढूंढता है अगर क्रॉलर को robot.txt फाइल मिल जाता है तो उसे फिर देखता है कि यह Robot.txt फाइल किस तरह का इंफॉर्मेशन इंस्ट्रक्शन दे रहे हैं लेकिन बहुत सारे ऐसे रोबोट है जो यह सारा इंस्ट्रक्शन फॉलो नहीं करते लेकिन गूगल का कहना है कि हम robot.txt को स्ट्रिक्टली फॉलो करते हैं

रोबोट डोटी एक्सटी से पूछते जिसको इंडेक्स और कुछ भी जिसको इंडेक्स क्यों नहीं कराते

1.सर्च स्पाइडर या क्रॉलर वेबसाइट में पहुंचता है और चेक करता है कि कितने पे जिसको इंडेक्स करना है और कितने पैसे उसको इंडेक्स नहीं करना है और कितने वेबसाइट को कॉल करना है और इस वेबसाइट में क्या रिसोर्सेस अवेलेबल है और कितना टाइम इस वेबसाइट को स्क्रोल कराने में लगाना है यह सब डिपेंड पड़ता है वेबसाइट के अथॉरिटी साइज और रेपुटेशन पर और इसको हम क्रॉल बजट कहते हैं और एक टाइम सेट के अंदर ही कॉलर को सारा इंफॉर्मेशन कलेक्ट करना होता है|

जैसे कि हमारे वेबसाइट में बहुत सारे पेज एस होते हैं किसी पे जिसको इंडेक्स करना होता है किसी तेजस को इंडेक्स नहीं कराना होता है और यह सब क्रॉलर को हम बता देते हैं कि जो हमारा अनवांटेड या वेस्ट पेजस है उनको स्क्रॉल कराना नहीं होता और और उस पर जिसको जिसको स्क्रोल कर आना नहीं होता उस पे जिसको हम ब्लॉक कर देते हैं ताकि हमारे पास जो वेबसाइट में जरूरी और अच्छे कंटेंट है उसको क्रॉलर अपना टाइम उस पेजेस को स्क्रोल करने में लगा सके और उसे इंडेक्स कर सके और सही-सही जानकारियां यूजर्स को प्रोवाइड कर सके और यह सारा काम robot.txt के थ्रू होता है

2. दूसरा रीजन यह है कि हमारे वेबसाइट में कभी-कभी ऐसे तेजस होते हैं जिसको स्क्रोल कराना और इंडेक्स कराना जरूरी नहीं होता जैसे के एग्जांपल के तौर पर देखेंगे ABC.com/admin इस तरह के तेजस को स्क्रोल कराना यह इंडस कराना जरूरी नहीं होता है क्योंकि इसमें कोई खास इंफॉर्मेशन नहीं रहती| और इस तरह के पेजेस का इंडेक्स कराने का कोई मतलब नहीं होता इसलिए हम robot.txt इको इंस्ट्रक्शन दे देते हैं कि इस तरह के बीज को इंडेक्स नहीं करना जिसे यूजर्स को कोई इंफॉर्मेशन ना मिले रोबोट डॉट एक्स टीका सारा टाइम एंड रिसोर्सेज इस तरह के पेजेस को इंडेक्स करने में वेस्ट हो जाए और हमारा जो इनफॉर्मैटिक जो जरूरी पेजस है जिसमें अच्छा खासा इंफॉर्मेशन है वह इंडेक्स होने से रुक जाए इसलिए हम वेस्ट पेजेस को इंडेक्स कराना से और रोबोट को रोकते हैं

Robot.txt फाइल क्या है और कैसे दिखते हैं

तो हम जानेंगे कि robot.txt फाइल क्या है और यह कैसे दिखते हैं जब हम टाइप करेंगे फेसबुक का एग्जांपल लेते हैं Facebook.com/robot.txt टाइप करेंगे और इंटर करेंगे तो हमें यह सारा इंफॉर्मेशन दिखाएगा कि हमें रोबोट डॉट डीएक्सटी में कौन सा कौन सा अलाउड है और कौन सा कौन सा डिसएलाऊ है क्या क्या यूज कर सकते हैं क्या नहीं यूज कर सकते यह सारा इंफॉर्मेशन आपको यहां पर देखने को मिलेगा

यहां पर हम देख सकते हैं पल बाउट को इंस्ट्रक्शन दिए यह सब सारी चीजों को डिसएलाऊ करने के लिए और वेदों बोर्ड को भी इंस्ट्रक्शन मिला है यह सब चीजों को डिसएलाऊ करने के लिए और आप देख सकते हैं बिग बॉस को भी इंस्ट्रक्शन मिला है यह सब सारी चीजों को डिसएलाऊ करने के लिए इस तरह आप किसी भी वेबसाइट का रोबोट डॉट टेक्स्ट फाइल को देख सकते हैं और किस वेबसाइट में क्या-क्या अलाउड है किस वेबसाइट में क्या-क्या अलाउड नहीं है यह सारा इंफॉर्मेशन आप देख सकते हैं और अगर आपका व्हाट्सएप इसका वेबसाइट है तो आपको युवा स्त्रियों प्लगइन में मिल जाएगा या तो अगर आप अलग से नवीन को इंस्टॉल करना चाहते हैं तो आप प्लगइन में जाकर ऐड में क्लिक करेंगे और वहां पर टाइप करेंगे और robot.txt थी वहां से आप इंस्टॉल करके एक्टिवेट कर सकते हैं और अब जिस फाइल को चाहे इंडेक्सिंग अलाउड एंड दिस अलाउड कर सकते हैं एग्जांपल के लिए आप यहां देख सकते हैं

आशा करता हूं कि आपको समझ में आई क्या होगा robot.txt फाइल क्या है और इसका क्या काम है और किस तरह काम करता है और यह कैसा दिखता है अगर यह फॉरमेशन पहुंचा लगा तो आप इसको दूसरों तक सोया नहीं कर सकते हैं|