robots.txt” birçok web site ve web programcısının yardımcısıdır. robots.txt dosyası arama motorları ve örümceklere sitenizde bulunan klasör ve dosyaların hangisini gezip ve hangisinin bu işlemin dışında bırakıldığına ve içeriğine bakmadan onlardan uzak durmayı sağlayan dosya tipidir.

Bu dosya temel olarak uzantısında görüldüğü gibi txt dosyasından oluşur. Bu dosya kullanılacak ise tüm web sitenizin yer aldığı ana dizinde bulunmalıdır. Yani şu anda siz ustapc.com sitesindesiniz ve robots.txt bu ana dizinin içinde bulunmalı. http://www.kayseriwebajans.com/robots.txt adresinden de dosyaya ulaşabilir olmalısınız.

Arama motorları bir sürü örümcek barındırırlar. Arama sitelerinin örümcekleri sitenizin ziyaret edildiği ilk saniyeyle hemen robots.txt’yi aramaya başlarlar. Site veya sayfanızın herhangi bir bölümüne girilmesini, ziyaret edilmesini istiyor veya istemiyorsanız bu dosyadan örümcekler izin alırlar. Bu dosyada bulunan izinler yani sizin fırsat verdiğiniz kadarıyla siteniz dolaşıma açılır. Yani kısaca bu robots.txt dosyaları sitenizin arama motorlarının indeksleyicisidir. Gözükmesini istediğiniz dokümanlar izne sahip olur ve sitenizde gözler önüne serilir.

robots.txt’nin ne olduğunun anlatımı makalenin bu noktasında son buluyor. robots.txt’nin ne olduğu anlaşıldıysa gelelim teoriden gerçeğe geçiş aşamasına. İlk adım olarak bilgisayarınızda notepad’ı (not defterini) çalıştırmanız gerekmektedir. Bunun için başlat, programlar, donatılar ve oradan da not defteri sıralamasını izlemeniz gerekmektedir. Not defterinin içine;

1
2
User-agent: *
Disallow:
yazmalısınız. Bu yazılanlar “burada yazan web sitemin tüm içeriği arama motorlarında görüntülenebilir” anlamına gelmektedir ve dosyalara ulaşıma izin vermiş oluruz. Web sitemizde dolaylı veya doğrudan olacak şekilde hiçbir biçimde gözükmesini istemediğimiz dosyaları ise;
1
2
User-agent: *
Disallow: /klasoradi/
şeklinde tanımlamamız gerekir. Eğer gözükmesini istemediğimiz dosya bir tane değil de birden fazla ise disallow satırlarını arttırmamız lazım.
1
2
3
4
User-agent: *
Disallow: /klasor1/
Disallow: /klasor2/
Disallow: /klasor3/
şeklinde çoğaltılır, internette ufak bir araştırma yaparsanız robots.txt dosyanızı kolaylıkla oluşturabilirsiniz.