Arama Motoru Robotu – Web Crawler Nedir?
Web Crawler arama motorları tarafından internetteki bilgileri tarayıp kendi belirledikleri kurallara göre dizinlerine kaydetmek amacı ile kullanılan yazılımlardır. Web Crawler yazılımları sadece siteleri arama motorları sonuçlarında listelemek haricinde, resim, video, makale, dosya, müzik vb gibi bir çok farklı format ve yapıdaki bilgiyi tarayıp farklı dizinler altında toplamaktadır. Yani bililenin aksine Google ve Bing haricinde aktif ve etkili bir çok farklı bot internetteki bilgileri düzenlemekle uğraşmaktadır.
Yine aynı şekilde genel olarak aynı amaca hizmet etmesinin yanında içerdiği algoritmik farklılıkları ile arama motorlarının kullandığı farklı robot yazılımlar vardır. Web robot, web spider veya bot olarak ta adlandırılan arama motorları robotları olan bu bilgisayar yazılımları websitelerini dolaşarak gerekli bilgileri toplarlar. Bu içeriği toplarken sitenin alan adından, içeriğine, link yapısı ve site haritasına kadar bir çok farklı noktayı göz önünde bulundururlar, elbette sitenin indekslenmesi gereken alanları için robots.txt dosyasındaki yönlendirmeleri dikkate alırlar. (Robots.txt dosyası nasıl hazırlanır yazımızı inceleyebilirsiniz.)
Başlıca Bilinen Arama Motoru Robotları
- Googlebot, Googlebot-Image, Googlebot-Mobile, Googlebot-Video, Adsbot-Google, Mediapartners-Google, Könguló (Google)
- BingBot/MSNBot, MSRBot (Bing)
- YandexBot (Yandex)
- Baiduspider, Baiduspider-image, Baiduspider-ads (Baidu)
- FAST Crawler (Fast Search & Transfer – Alltheweb)
- Scooter, Mercator (Altavista)
- Slurp, Yahoo-Blogs (Yahoo)
- Gigabot (Gigablast)
- Scrubby (Scrub The Web)
- Robozilla (DMOZ)
- Twiceler (Cuil)
Tüm crawlers adlarını, detayları ve güncel bilgilerini List of User Agent listesinden bulabilirsiniz.
Ders Arşivi
09/09/2013 at 08:12Emeğinize sağlık güzel bir yazı olmuş
sadık
15/12/2013 at 18:44merhaba.
bir kaç yurtdışı eticaret sitesinden istediğim kategorilerdeki görselleri çekmek istiyorum. bunun için önereceğiniz bir program var mı. teleport pro gibi birkaç prog. kullanamaya çalıştım ama alakasız şeyler indirdi. kategorilerdeki görselleri tumbnail olarak değil ürün sayfasındaki büyük resimleri indirmesini istiyorum.
bilginiz paylaşabilirseniz sevinirim.
selamlar..
ekrem
24/01/2015 at 19:09IDM yi öneririm, bu da teleport benzeri vazifeyi gerçekleştiriyor
ekrem
24/01/2015 at 19:09http://udger.com/resources/ua-list/crawlers bu adresi verdiğiniz içün de teşekkür ederim. Sitemde yer alan anlamsız botlar şimdi anlam kazandı 🙂
izmirmarkareklamajansı
10/08/2016 at 21:36Peki bu robotları sitelerimize meta tag gibi ekleyip davet edebilirmiyiz googlebot meta tagı gibi
Rıdvan
18/02/2017 at 23:38Sitenin çabuk indexlenme kodu nedir? Çok yararı oluyor hızlı indexlenme özelliği.