Yukarı

What is Robots.txt? How to Create Robots.txt?

Robots txt nedir Nasıl Hazırlanır

What is Robots.txt? How to Create Robots.txt?

robot.txt

İngilizce orjinal adı “The Robots Exclusion Protocol” olan genel kabul görmüş kod içeriklerinden oluşan Robots.txt dosyası, sitenizi ziyaret eden robotların (örümcek, crawler, bot) websitenizin hangi kısımları tarayıp taramayacağını hakkında yöndirme yapmaktadır. Arama motorları siteleri robot bilgisayar yazılımları ile tarayarak arama sonuçlarında göstermek üzere indekslemektedir. Arama motoru optimizasyonu için de önemli olan bu yönlendirmeler ile websitenizin en doğru ve etkili şekilde listelenmesini sağlayabilirsiniz. Robots.txt hazırlamak için aşağıdaki adımları izleyebilirsiniz.

  • Sitenizin indekslenmemesini istemiyorsanız robot.txt içeriğini şu şekilde hazırlayabilirsiniz;

User-agent: *
Disallow: /

  • Siteniz içerisindeki belli klasörlerin erişilmemesi ve taranmamasını istiyorsanız aşağıdaki şekilde, istediğiniz klasörü seçebilirsiniz;

User-Agent: *
Disallow: /admin/

  • Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için aşağıdaki şekilde bir ekleme yapabilirsiniz;

User-agent: Googlebot-Image
Disallow: /resimler/profilim.jpg

  • Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız, şu şekilde ekleme yapabilirsiniz;

User-agent: Googlebot-Image
Disallow: /

  • Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;

User-Agent: *
Disallow: /ozel-dosya.html

Hali hazırda indekslenmiş bir sayfa veya resmi Google’dan kaldırmak için Google Sayfa Silmek yazımını inceleyebilirsiniz.

Ayrıca websitenizin alt sayfaları için farklı indeksleme ve takip edilme seçenekleri yaratmak isterseniz, bu sayfaların kod yapıları içerisine aşağıdaki meta etiketleri de ekleyerek sitenizi ziyaret eden robotları yönlendirebilirsiniz.

Önemli bir nokta da Robots.txt dosyasının en sonuna aşağıdaki şekilde site haritanızı da eklemelisiniz.

Sitemap: http://semsector.com/sitemap.xml.gz

Aşağıdaki ücretsiz olarak kullanabileceğiniz sitelerden otomatik olarak ta robots.txt dosyası oluşturabilirsiniz.

  1. Sitetoolcenter Robot.txt Generator

WordPress İçin En Uygun Robots.txt Kodları

User-agent: *
Disallow: /wp-admin/
Disallow: */comments/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

Robot.txt Dosyası Nereye Yüklenir?

Oluşturduğunuz robot.txt dosyasını websitenizin dosyalarının yer aldığı ana dizine kopyalamanız gerekmektedir. Dosyayı hosting alanınıza yükledikten sonra robots.txt URL’i şu şekilde gözükecektir;

http://semsector.com/robots.txt

Son olarak unutulmamalıdır ki tüm crawler yazılımları bu kuralı dikkate almamaktadır, bu sebeple hiç bir şekilde arama motorlarında gözükmek istemiyorsanız kötü niyetli yazılımlar için farklı koruma tercihleri seçmelisiniz.

5 Yorum
  • Creator
    05 August 2013 at 00:15

    Wow, incredible blog layout! How long have you ever been blogging
    for? you make running a blog glance easy. The overall glance of your web site is fantastic,
    let alone the content material!

    • bedconwet96
      15 April 2014 at 19:32

      yararlı bilgi teşekkürler

  • Ailece
    30 January 2016 at 01:32

    robots.txt, site için tam bir baş belası…, varlığıda yokluğuda sorun

Leave a Reply