विषय
Google, याहू और बिंग जैसे इंटरनेट खोजकर्ता अन्य वेबसाइटों के लिए लिंक और साइटमैप का उपयोग करके जानकारी प्राप्त करते हैं। ये खोज इंजन कुछ सबसे अस्पष्ट जानकारी प्राप्त कर सकते हैं और उन्हें अपने सूचकांक में शामिल कर सकते हैं और इस प्रकार की खोज तकनीक के उपयोगकर्ताओं के लिए फायदे और नुकसान हैं।
आंतरिक नेटवर्क पृष्ठ
आंतरिक नेटवर्क पृष्ठ उन वेबसाइटों पर पृष्ठ होते हैं, जिन्हें उपयोगकर्ता द्वारा देखे जाने के लिए कई क्लिक की आवश्यकता होती है। ये पृष्ठ उत्पाद, सामग्री या एक खोज डेटाबेस हो सकते हैं जो खोज इंजन सामान्य रूप से ट्रैक नहीं कर सकते हैं। इस प्रकार की प्रौद्योगिकी का लाभ, जो खोज इंजन को क्रॉल करने से रोकता है, यह है कि वेबसाइट के मालिकों के पास खोज इंजन इंडेक्स में शामिल उत्पाद, खरीद, सूचना और अन्य महत्वपूर्ण लिंक हो सकते हैं। यह वेबसाइट के मालिक को इंटरनेट पर अधिक दृश्यता देता है।
व्यक्तिगत जानकारी
खोज इंजन का एक नुकसान जो क्रॉल करता है, वह व्यक्तिगत जानकारी है जिसे गोपनीयता की परवाह किए बिना अनुक्रमित किया जा रहा है। सुरक्षा नंबर, वित्तीय डेटा या भौगोलिक स्थानों जैसी सूचनाओं को अनुक्रमित किया जा सकता है, भले ही वह एक निजी वेबसाइट पर पोस्ट की गई हो। खोजकर्ताओं ने उपयोगकर्ताओं को "robots.txt" नामक एक फ़ाइल का उपयोग करके कुछ सूचकांक जानकारी को अवरुद्ध करने की क्षमता प्रदान की। उदाहरण के लिए, Google जैसे खोज इंजन, उपयोगकर्ताओं को साइट स्वामी द्वारा आपत्तिजनक जानकारी निकालने के बाद URL निकालने की अनुमति देते हैं, जिसे इंडेक्स से हटा दिया जाता है।
स्वचालन
वेबसाइट के मालिक किसी अन्य वेबसाइट या यहां तक कि अपनी साइट पर कुछ लिंक छोड़कर अपने पेज को अनुक्रमित कर सकते हैं। इस अभ्यास को "बैकलिंकिंग" कहा जाता है। एक वेबसाइट जो इस सुविधा का उपयोग करती है, वह स्वचालित रूप से खोज इंजन द्वारा ट्रैक की जाती है, जो तब किसी वेबसाइट को मैप और इंडेक्स कर सकती है। यह वेबसाइट मालिकों की स्थिति को आसान बनाता है क्योंकि उन्हें खोज इंजन के लिए एक डोमेन नाम प्रस्तुत करने की आवश्यकता नहीं है। सूचकांक स्वचालन से इंटरनेट पाठकों के लिए खोज करना आसान हो जाता है।
