Robots.txt Nedir? Robots.txt Nasıl Hazırlanır?

Robots.txt Nedir? Robots.txt Nasıl Hazırlanır?

 

İngilizce orjinal adı “The Robots Exclusion Protocol” olan genel kabul görmüş kod içeriklerinden oluşan Robots.txt dosyası, sitenizi ziyaret eden robotların (örümcek, crawler, bot) websitenizin hangi kısımları tarayıp taramayacağını hakkında yönlendirme yapmaktadır. Arama motorları siteleri robot bilgisayar yazılımları ile tarayarak arama sonuçlarında göstermek üzere indekslemektedir. Arama motoru optimizasyonu için de önemli olan bu yönlendirmeler ile websitenizin en doğru ve etkili şekilde listelenmesini sağlayabilirsiniz. Robots.txt hazırlamak için aşağıdaki adımları izleyebilirsiniz.

• Sitenizin indekslenmemesini istemiyorsanız robot.txt içeriğini şu şekilde hazırlayabilirsiniz;

User-agent: *
Disallow: /

• Siteniz içerisindeki belli klasörlerin erişilmemesi ve taranmamasını istiyorsanız aşağıdaki şekilde, istediğiniz klasörü seçebilirsiniz;

User-Agent: *
Disallow: /admin/

• Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için aşağıdaki şekilde bir ekleme yapabilirsiniz;

User-agent: Googlebot-Image
Disallow: /resimler/profilim.jpg

• Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız, şu şekilde ekleme yapabilirsiniz;

User-agent: Googlebot-Image
Disallow: /

• Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;

User-Agent: *
Disallow: /ozel-dosya.html

Hali hazırda indekslenmiş bir sayfa veya resmi Google’dan kaldırmak için Google Sayfa Silmek yazımını inceleyebilirsiniz.

Ayrıca websitenizin alt sayfaları için farklı indeksleme ve takip edilme seçenekleri yaratmak isterseniz, bu sayfaların kod yapıları içerisine aşağıdaki meta etiketleri de ekleyerek sitenizi ziyaret eden robotları yönlendirebilirsiniz.

Google Search Console hesabınızı giriş yaptıktan sonra “404 Not Found” raporu altında bulabileceğiniz kırık linkleri inceleyerek sitenizin oluşturduğu hatalı URL’leri veya indekslenmemesi gereken uygulama sayfaları, kullanıcı özel sayfaları, kod veya görsel uzantılar vs. gibi hatalı olanları Robots.txt dosyasına ekleyebilirsiniz.

Önemli bir nokta da Robots.txt dosyasının en sonuna aşağıdaki şekilde site haritanızı da eklemelisiniz.

Sitemap: https://semsector.com/sitemap.xml.gz

Aşağıdaki ücretsiz olarak kullanabileceğiniz sitelerden otomatik olarak ta robots.txt dosyası oluşturabilirsiniz.

1. SEOBook Robot.txt Generator

WordPress İçin En Uygun Robots.txt Kodları

User-agent: *
Disallow: /wp-admin/
Disallow: */comments/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

Robots.txt Dosyası Nereye Yüklenir?

Oluşturduğunuz robot.txt dosyasını websitenizin dosyalarının yer aldığı ana dizine kopyalamanız gerekmektedir. Dosyayı hosting alanınıza yükledikten sonra robots.txt URL’i şu şekilde gözükecektir;

https://semsector.com/robots.txt

Son olarak unutulmamalıdır ki tüm crawler yazılımları bu kuralı dikkate almamaktadır, bu sebeple hiç bir şekilde arama motorlarında gözükmek istemiyorsanız kötü niyetli yazılımlar için farklı koruma tercihleri seçmelisiniz.