Top

Arama Motoru Robotu – Web Crawler Nedir?

Arama Motoru Robotu - Web Crawler Nedir?

Arama Motoru Robotu – Web Crawler Nedir?

arama motoru robotu

Web Crawler arama motorları tarafından internetteki bilgileri tarayıp kendi belirledikleri kurallara göre dizinlerine kaydetmek amacı ile kullanılan yazılımlardır. Web Crawler yazılımları sadece siteleri arama motorları sonuçlarında listelemek haricinde, resim, video, makale, dosya, müzik vb gibi bir çok farklı format ve yapıdaki bilgiyi tarayıp farklı dizinler altında toplamaktadır. Yani bililenin aksine Google ve Bing haricinde aktif ve etkili bir çok farklı bot internetteki bilgileri düzenlemekle uğraşmaktadır.

Yine aynı şekilde genel olarak aynı amaca hizmet etmesinin yanında içerdiği algoritmik farklılıkları ile arama motorlarının kullandığı farklı robot yazılımlar vardır. Web robot, web spider veya bot olarak ta adlandırılan arama motorları robotları olan bu bilgisayar yazılımları websitelerini dolaşarak gerekli bilgileri toplarlar. Bu içeriği toplarken sitenin alan adından, içeriğine, link yapısı ve site haritasına kadar bir çok farklı noktayı göz önünde bulundururlar, elbette sitenin indekslenmesi gereken alanları için robots.txt dosyasındaki yönlendirmeleri dikkate alırlar. (Robots.txt dosyası nasıl hazırlanır yazımızı inceleyebilirsiniz.)

Başlıca Bilinen Arama Motoru Robotları

  • Googlebot, Googlebot-Image, Googlebot-Mobile, Googlebot-Video, Adsbot-Google, Mediapartners-Google, Könguló (Google)
  • BingBot/MSNBot, MSRBot (Bing)
  • YandexBot (Yandex)
  • Baiduspider, Baiduspider-image, Baiduspider-ads (Baidu)
  • FAST Crawler (Fast Search & Transfer – Alltheweb)
  • Scooter, Mercator (Altavista)
  • Slurp, Yahoo-Blogs (Yahoo)
  • Gigabot (Gigablast)
  • Scrubby (Scrub The Web)
  • Robozilla (DMOZ)
  • Twiceler (Cuil)

Tüm crawlers adlarını, detayları ve güncel bilgilerini List of User Agent listesinden bulabilirsiniz.

7 Comments
  • Ders Arşivi
    09 Eylül 2013 at 08:12

    Emeğinize sağlık güzel bir yazı olmuş

  • sadık
    15 Aralık 2013 at 18:44

    merhaba.
    bir kaç yurtdışı eticaret sitesinden istediğim kategorilerdeki görselleri çekmek istiyorum. bunun için önereceğiniz bir program var mı. teleport pro gibi birkaç prog. kullanamaya çalıştım ama alakasız şeyler indirdi. kategorilerdeki görselleri tumbnail olarak değil ürün sayfasındaki büyük resimleri indirmesini istiyorum.
    bilginiz paylaşabilirseniz sevinirim.

    selamlar..

    • ekrem
      24 Ocak 2015 at 19:09

      IDM yi öneririm, bu da teleport benzeri vazifeyi gerçekleştiriyor

  • ekrem
    24 Ocak 2015 at 19:09

    http://udger.com/resources/ua-list/crawlers bu adresi verdiğiniz içün de teşekkür ederim. Sitemde yer alan anlamsız botlar şimdi anlam kazandı 🙂

  • izmirmarkareklamajansı
    10 Ağustos 2016 at 21:36

    Peki bu robotları sitelerimize meta tag gibi ekleyip davet edebilirmiyiz googlebot meta tagı gibi

  • Rıdvan
    18 Şubat 2017 at 23:38

    Sitenin çabuk indexlenme kodu nedir? Çok yararı oluyor hızlı indexlenme özelliği.

Bir Cevap Yazın