Robots.txt Nedir? & Robots.txt Oluşturma İşleminin Adımları

Robots.txt Nedir? Ne İşe Yarar?

Web sayfanızın oluşturulmasının ardından arama motoruna ait botlar web sayfanıza giriş yaparak içeriklerinizi incelemekte ve buna uygun olarak indexlemektedir. Ancak web sayfanızda ilk andan paylaşmak ya da içeriklerini kimsenin görmesini istemediğiniz sayfalar varsa, bu sayfaları botlardan korumak mümkün. Bunun için takip edeceğiniz birkaç basit adımla robots.txt dosyası oluşturmak ve yönetmek yeterli olacaktır.

Robots.Txt Nedir?

Robots.txt, arama motoru botlarının web sayfanızı indekslerken web sayfanızın hangi bölümlerini inceleyebileceğini ya da inceleyemeyeceğini yöneten basit bir komut dosyasıdır. Web sayfanızın oluşturulmasının ardından arama motoru yazılımları sayfanıza ilk geldiğinde bu dosyayı tarar. Böylece hangi dosyalara izin verdiğinize ya da vermediğinize göre taramasını gerçekleştirir ve gerekli bilgileri depolayarak ileride ziyaretçilerinize önermek için saklar.

Robots.Txt Ne İşe Yarar?

Robots.txt, web sayfanızda arama motorlarının özgürlüklerini kısıtlayan dosyadır. Böylece bir arama motoru web sayfanıza indexleme amacıyla geldiğinde web sayfanıza ait tüm bilgileri kopyalayarak ileride ziyaretçilerinize sunmaz. Sadece sizin belirlediğiniz alan ve sayfalardaki bilgileri tarayabilir ve belleğine kaydedebilir. Böylece paylaşmak istemediğiniz bilgilerini kolaylıkla saklayabilirsiniz.

Aynı zamanda web sayfanızda SEO açısından kendini tekrarlayan içerikleri engeller. Böylece ziyaretçileriniz tekrar tekrar aynı içerikleri görmez. Robots.txt dosyasında bulunan komutlar site haritasında bulunan yerleri net olarak belirler ve pek çok dosya ekinin sıralamasını engeller.

Önerilen Yazı: Site Haritası Nedir? Site Haritası Oluşturma ve Dikkat Edilmesi Gerekenler

Robots.Txt Neden Önemlidir?

Web sayfanızın robots.txt dosyasına sahip olması sizlere birçok avantaj sağlayacaktır:

  • Web sayfanızda önceden bulunan içeriğin tekrarı bir içerik bulunuyorsa, içeriğin SERP’lerde görünmesini sağlayabilirsiniz.
  • Web sitenizde bulunan ve paylaşmak istemediğiniz bölümleri gizleyebilirsiniz.
  • Dahili arama sonuçlarında çıkan sayfanızın bölümlerini kamuya açık SEPR’lerden saklayabilirsiniz.
  • Site haritanızın alanlarını ve konumlarını belirleyebilirsiniz.
  • Birden fazla içeriği tek bir anda yüklemek istiyorsanız sunucularınızda aşırı yüklenme ile karşılaşabilirsiniz. Bu dosyanın yardımı ile bir tarama gecikmesi oluşturarak oluşacak sıkışıklığı engelleyebilirsiniz.
  • Arama motorlarının web sayfanızda bulunan ve indekslenmesini istemediğiniz dosyaları saklayabilirsiniz.

Robots.Txt Oluşturma Nasıl Yapılır?

Web sayfanız için gerekli robots.txt dosyası oluşturmak istiyorsanız eğer;

  • Kendinizin bu dosyaları hazırlamak için yeterince iyi olmadığınızı düşünüyorsanız hazır programlar aracılığı ile oluşturabilirsiniz.
  • Kendiniz bir robots.txt dosyası oluşturmak istiyorsanız takip edeceğiniz adımlar bulunmaktadır.

Manuel olarak oluşturmak istenilen robots.txt dosyası için;

  1. Öncelikle bir metin belgesi açılmalı ve ismi robot.txt dosyası olmalıdır.
  2. Ardından açılan belge içerisine temelde iki farklı değişken kullanılmalıdır. Burada istenilen komutlara göre girilmesi ve girilmemesi gereken komutlar oluşturulmalıdır. Burada kullanılan komutlar “user-agent” ve “disallow” ya da “user- agent” ve “allow” komutlarıdır.
  3. Tüm komutlarınızı dilediğiniz izinlere göre tamamlamanızın ardından dosya hazırlama işleminiz tamamlanacaktır.

Robots.Txt Oluşturduktan Sonra Ne Yapılmalıdır?

Robots.txt dosyanızın komutlarını tamamladıktan ve dosya artık hazır geldikten sonra geriye dosyanızı web sayfanıza yüklemek kalacaktır. Bu işlem için öncelikle web sayfanızın root (kök) dizinine ulaşmanız gerekmektedir. Ardından bu dizine hazırladığınız robot.txt dosyasını yüklemeniz yeterli olacaktır.

Robots.Txt Otomatik Oluşturan Araçlar Nelerdir?

Eğer robots.txt dosyası hazırlamak için bir Word sayfası ve kodlarla uğraşmak istemiyorsanız, kodlama işleminizi size otomatik olarak gerçekleştirileceği araçlar bulunmaktadır. Bu araçlar doğrudan sizin kodlamanızı gerçekleştirmek yerine komutlarınızın girilmesini kolaylaştıran araçlardır. Arama motoru üzerinde gerçekleştireceğiniz “robot.txt generator” aramasının ardından karşınıza birçok bu işlemi gerçekleştiren sonuç çıkacaktır.

Doğru Bir Robots.Txt Örneği

Web sayfanız için gerçekleştireceğiniz robots.txt içeriklerine örnek verebiliriz. Ancak bu kodlama işlemi içeriği belirli sitenin gereksinimlerine göre değişiklik gösterebilir.

Eğer içeriğinizin tüm botlar tarafından indekslenmesini istiyorsanız:

User-agent: *

Allow: /

Sitenizdeki tüm dosyaların taranmamasını istiyorsanız:

User-agent: *

Disallow: /

Eğer belirli dosyaların taranmamasını istiyorsanız:

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /istenmeyendosyaadı/

Eğer sadece 1 dosyanın taranmasını istiyorsanız:

User-agent: *

Allow: /dosya1/site.html

Disallow: /dosya1/

Özet olarak, eğer bir robots.txt komut dizi oluşturmak istiyorsanız user-agent kısmına hangi botları kullandığınızı yazmanız gerekmektedir. Eğer “*” ifadesini koyarsanız bu tüm Google botları anlamına gelmektedir. İzin vermek istediğiniz dosyalar için “allow”, izin vermek istemediğiniz dosyalar için ise “disallow” komutlarını kullanmanız gerekmektedir.

Robots.Txt Kullanımı Hakkında Bilinmesi Gereken Püf Noktalar Nelerdir?

Robots.txt, kullanımı gerçekleştirilirken dikkat edilecek püf noktalar bulunmaktadır. Bu püf noktalar ile gerçekleştirdiğiniz işlemin çok daha kolay ve doğru olmasını sağlayabilirsiniz.

  • Kullanacağınız txt dosyası en üst dizinde yer almalıdır. Örneğin, “http://örnekwebsayfa.com” adresi için robots.txt dosyası “http://örnekwebsayfa.com/robots.txt” yerinde olmalıdır.
  • Tüm dosyaları kapsayacak bir tarama engeli koymak istiyorsanız $ işaretini kullanmanız gerekmektedir.
  • Bir dosyanın taranması için Google otomatik olarak “izin ver” talimatını işler. Gizlemek istediğiniz dosyalar için sizin disallow komutunu girmeniz gerekmektedir.
  • Dosya içerisinde komutlarınızı girerken küçük ya da büyük harflere dikkat etmeniz ve doğru olarak girmeniz gerekmektedir.
  • Eğer çoklu kurallar vermek istiyorsanız her komut arasına boşluk bırakmanız gerekmektedir.

WordPress, Blogger Ve Diğer Platformlarda Robots.Txt Kullanımı Değişken Midir?

Her platformun kendini ait dosyaları ve URL yapıları bulunmaktadır. Bu nedenle wordpress, blogger ve diğer platformların hepsi kendine ait bir robots.txt kullanımı gerçekleştirmektedir.

Eğer hazırladığınız robot.txt dosyası kullandığını platform ile uyumlu değilse endişe etmenize gerek yok. Genellikle farkları birkaç komut ya da kelime değişikliğinden gelmektedir. Bu nedenle yapacağınız ufak değişiklikler size bu konuda yardımcı olabilir.

Robots.txt dosyası hazırlamak konusunda sorularınız varsa yorum kısmında bizimle paylaşabilirsiniz. Uzman ekibimiz sorularınızı detaylı bir şekilde yanıtlayarak aklınızdaki tüm soru işaretlerinin ortadan kaldırılmasına yardımcı olacaktır.