Robots.txt Nedir? Robots.txt Nasıl Hazırlanır?
İngilizce orjinal adı “The Robots Exclusion Protocol” olan genel kabul görmüş kod içeriklerinden oluşan Robots.txt dosyası, sitenizi ziyaret eden robotların (örümcek, crawler, bot) websitenizin hangi kısımları tarayıp taramayacağını hakkında yöndirme yapmaktadır. Arama motorları siteleri robot bilgisayar yazılımları ile tarayarak arama sonuçlarında göstermek üzere indekslemektedir. Arama motoru optimizasyonu için de önemli olan bu yönlendirmeler ile websitenizin en doğru ve etkili şekilde listelenmesini sağlayabilirsiniz. Robots.txt hazırlamak için aşağıdaki adımları izleyebilirsiniz.
- Sitenizin indekslenmemesini istemiyorsanız robot.txt içeriğini şu şekilde hazırlayabilirsiniz;
User-agent: *
Disallow: /
- Siteniz içerisindeki belli klasörlerin erişilmemesi ve taranmamasını istiyorsanız aşağıdaki şekilde, istediğiniz klasörü seçebilirsiniz;
User-Agent: *
Disallow: /admin/
- Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için aşağıdaki şekilde bir ekleme yapabilirsiniz;
User-agent: Googlebot-Image
Disallow: /resimler/profilim.jpg
- Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız, şu şekilde ekleme yapabilirsiniz;
User-agent: Googlebot-Image
Disallow: /
- Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;
User-Agent: *
Disallow: /ozel-dosya.html
Hali hazırda indekslenmiş bir sayfa veya resmi Google’dan kaldırmak için Google Sayfa Silmek yazımını inceleyebilirsiniz.
Ayrıca websitenizin alt sayfaları için farklı indeksleme ve takip edilme seçenekleri yaratmak isterseniz, bu sayfaların kod yapıları içerisine aşağıdaki meta etiketleri de ekleyerek sitenizi ziyaret eden robotları yönlendirebilirsiniz.
Önemli bir nokta da Robots.txt dosyasının en sonuna aşağıdaki şekilde site haritanızı da eklemelisiniz.
Sitemap: https://semsector.com/sitemap.xml.gz
Aşağıdaki ücretsiz olarak kullanabileceğiniz sitelerden otomatik olarak ta robots.txt dosyası oluşturabilirsiniz.
WordPress İçin En Uygun Robots.txt Kodları
User-agent: * Disallow: /wp-admin/ Disallow: */comments/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Robot.txt Dosyası Nereye Yüklenir?
Oluşturduğunuz robot.txt dosyasını websitenizin dosyalarının yer aldığı ana dizine kopyalamanız gerekmektedir. Dosyayı hosting alanınıza yükledikten sonra robots.txt URL’i şu şekilde gözükecektir;
https://semsector.com/robots.txt
Son olarak unutulmamalıdır ki tüm crawler yazılımları bu kuralı dikkate almamaktadır, bu sebeple hiç bir şekilde arama motorlarında gözükmek istemiyorsanız kötü niyetli yazılımlar için farklı koruma tercihleri seçmelisiniz.
Creator
05/08/2013 at 00:15Wow, incredible blog layout! How long have you ever been blogging
for? you make running a blog glance easy. The overall glance of your web site is fantastic,
let alone the content material!
bedconwet96
15/04/2014 at 19:32yararlı bilgi teşekkürler
Ailece
30/01/2016 at 01:32robots.txt, site için tam bir baş belası…, varlığıda yokluğuda sorun