İngilizce orjinal adı “The Robots Exclusion Protocol” olan genel kabul görmüş kod içeriklerinden oluşan Robots.txt dosyası, sitenizi ziyaret eden robotların (örümcek, crawler, bot) websitenizin hangi kısımları tarayıp taramayacağını hakkında yöndirme yapmaktadır. Arama motorları siteleri robot bilgisayar yazılımları ile tarayarak arama sonuçlarında göstermek üzere indekslemektedir. Arama motoru optimizasyonu için de önemli olan bu yönlendirmeler ile websitenizin en doğru ve etkili şekilde listelenmesini sağlayabilirsiniz. Robots.txt hazırlamak için aşağıdaki adımları izleyebilirsiniz.
- Sitenizin indekslenmemesini istemiyorsanız robot.txt içeriğini şu şekilde hazırlayabilirsiniz;
User-agent: *
Disallow: /
- Siteniz içerisindeki belli klasörlerin erişilmemesi ve taranmamasını istiyorsanız aşağıdaki şekilde, istediğiniz klasörü seçebilirsiniz;
User-Agent: *
Disallow: /admin/
- Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için aşağıdaki şekilde bir ekleme yapabilirsiniz;
User-agent: Googlebot-Image
Disallow: /resimler/profilim.jpg
- Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız, şu şekilde ekleme yapabilirsiniz;
User-agent: Googlebot-Image
Disallow: /
- Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;
User-Agent: *
Disallow: /ozel-dosya.html
Hali hazırda indekslenmiş bir sayfa veya resmi Google’dan kaldırmak için Google Sayfa Silmek yazımını inceleyebilirsiniz.
Ayrıca websitenizin alt sayfaları için farklı indeksleme ve takip edilme seçenekleri yaratmak isterseniz, bu sayfaların kod yapıları içerisine aşağıdaki meta etiketleri de ekleyerek sitenizi ziyaret eden robotları yönlendirebilirsiniz.
Önemli bir nokta da Robots.txt dosyasının en sonuna aşağıdaki şekilde site haritanızı da eklemelisiniz.
Sitemap: https://semsector.com/sitemap.xml.gz
Aşağıdaki ücretsiz olarak kullanabileceğiniz sitelerden otomatik olarak ta robots.txt dosyası oluşturabilirsiniz.
WordPress İçin En Uygun Robots.txt Kodları
User-agent: * Disallow: /wp-admin/ Disallow: */comments/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Robot.txt Dosyası Nereye Yüklenir?
Oluşturduğunuz robot.txt dosyasını websitenizin dosyalarının yer aldığı ana dizine kopyalamanız gerekmektedir. Dosyayı hosting alanınıza yükledikten sonra robots.txt URL’i şu şekilde gözükecektir;
https://semsector.com/robots.txt
Son olarak unutulmamalıdır ki tüm crawler yazılımları bu kuralı dikkate almamaktadır, bu sebeple hiç bir şekilde arama motorlarında gözükmek istemiyorsanız kötü niyetli yazılımlar için farklı koruma tercihleri seçmelisiniz.