تصفح الأنترنت قبل محرك البحث
لم تكن حياة مستخدمي الانترنت سهلة قبل وجود محركات البحث مثل جوجل وياهو، فكان على المستخدم أن يعرف عنوان الموقع الإلكتروني أو عنوان صفحة معينة داخل موقع معين للوصول إلى المحتوى المطلوب. إن أراد المستخدم على سبيل المثال أن يصل إلى موقع يهتم بالمحاسبة ولا يعرف عنوان رابطه الإلكتروني، فكان عليه أن يستمر في تخمين العنوان إلى أن ينجح في الوصول إلى رابط يعمل. ومن ثم يتتبع الروابط الخارجية داخل الموقع إن كانت أصلا موجودة ليصل إلى مواقع او صفحات جديدة وهكذا.
تاريخ محرك البحث
في عام 1990، تم تقديم أول محرك بحث محدود القدرات والمهام يعرف بآرشي Archie، وتلاه عدة محركات بحث إلى أن وصل محرك البحث ياهو (Yahoo) إلى المنافسة في عام 1994. ازداد توافد محركات البحث إلى حلبة المنافسة، وفي عام 1998 دخل جوجل (Google) إلى الاسوق، وتلاه أيضا العديد من محركات البحث الأخرى. يحتل محرك البحث جوجل 77 % تقريبا من حصة السوق العالمية على أجهزة الكمبيوتر واللابتوب مع نهاية عام 2018، وبذلك هو الأكثر شهرة واستخداما في العالم.
أمثلة على محركات البحث
- جوجل Google
- بنج Bing
- ياهو Yahoo
- اسك Ask
- ويبكرولر WebCrawler
- دك دك جو DuckDuckGo
- ياندكس Yandex
- بايدو Baidu
- دوج بايل DogPile
طريقة عمل محرك البحث
آلية عمل محركات البحث المعاصرة تمر في ثلاث مراحل رئيسية لعرض نتائج البحث من الشبكة العنكبوتية (الويب او الانترنت) وهي:
- التتبع او الزحف إلى صفحات الويب (Crawling)
- فهرسة صفحات الويب (Indexing)
- ترتيب نتائج البحث (Ranking)
في الخطوة الأولى (الزحف)، يعمل محرك البحث باستمرار وبدون توقف على تتبع جميع الصفحات وحتى الصور والفيديوهات والملفات في المواقع الإلكترونية الموجودة على الانترنت. تتم عملية التتبع عن طريق برنامج يعرف بسبايدر او العنكبوت.
يعمل برنامج العنكبوت على الزحف (crawling) إلى صفحات الانترنت (الويب) المسموح الوصول إليها. ويتبع روابط الصفحات التي يزورها ليصل إلى صفحات جديدة وهكذا إلى أن ينجح في الوصول إلى معظم صفحات الانترنت.
يزحف “العنكبوت” إلى الصفحات والمواقع السابقة مراراً وتكراراً وبشكل دوري للبحث عن روابط جديدة تم إضافتها حديثا وتتبع أي تغيرات وتحديثات حصلت لروابط ومحتوى هذه الصفحات والمواقع.
يمكن لأصحاب المواقع الإلكترونية مساعدة “العنكبوت” على الوصول إلى صفحات مواقعهم عن طريق تسليم خريطة الموقع (sitemap) إلى محرك البحث. ويستطيعون كذلك منع العنكبوت من الزحف إلى صفحات مواقعهم عن طريق ملف مخصص لهذه الغاية يسمى (robot.txt).
في الخطوة الثانية (الفهرسة)، يعمل محرك البحث على حفظ جميع الصفحات التي تتبعها العنكبوت وعثر عليها في فهرس (index). يستخدم محرك البحث وبرامجه الفهرس كمرجع لاستخراج المعلومات التي تطابق بحث المستخدم.
على سبيل المثال، عندما تريد البحث عن معلومة ما مثل ” كيف تعمل محركات البحث ” في جوجل مثلاً، يعمل محرك البحث على مسح جميع البيانات الموجودة في الفهرس والتي تحتوي على عبارة ” كيف تعمل محركات البحث “او أي عبارة او كلمة لها صلة بهذا الموضوع.
في الخطوة الثالثة والأخير (الترتيب)، تعمل برامج محركات البحث الخاصة مثل الخوارزميات على ترتيب نتائج البحث (الصفحات) وفقاً لعوامل ومعايير كثيرة ومعقدة تجعل من الصفحات الأكثر مصداقية وصلة بالموضوع في مقدمة نتائج البحث.
معلومات اضافية
لا يعني البحث في محرك بحث معين أنك تبحث في جميع صفحات ومواقع الشبكة العنكبوتية او الانترنت بل يعني أنك تبحث عن محتويات فهرس المحرك الذي تستخدمه. وهذا يعني أن الكثير من النتائج لن تظهر في محرك البحث لأنها ليست جزء من الفهرس وبالتالي تعتبر جزء من وموجودة داخل الانترنت العميق.
فلماذا لا تُفهرس او تظهر هذه النتائج، وماذا يعني أنها داخل الانترنت العميق؟ وكيف يمكن الوصول إلى هذه المحتويات او الصفحات؟ تعرف على الإجابة في مقال: ما هو الإنترنت العميق (الديب ويب)؟
المراجع
- موقع netmarketshare، حصص محركات البحث السوقية، اطلع عليه بتاريخ 07.01.2019 من: https://www.netmarketshare.com/search-engine-market-share.aspx
- موقع google.com، كيف يعمل محرك بحث جوجل، اطلع عليه بتاريخ 07.01.2019 من: https://www.google.com/search/howsearchworks/crawling-indexing
- موقع worldstream، تاريخ محركات بحث الانترنت، اطلع عليه بتاريخ 07.01.2019 من: https://www.wordstream.com/articles/internet-search-engines-history
- موقع bbc، كيف تعمل محركات البحث، اطلع عليه بتاريخ 07.01.2019 من: https://www.bbc.com/bitesize/articles/ztbjq6f
- قناة اليوتوب SEOWorkbench، كيف يعمل محرك البحث ، اطلع عليه بتاريخ 07.01.2019 من:https://www.youtube.com/watch?v=jUNIpYPw66o&t=23s
