WordPress sistemli web site sahipleri için ideal bir robots.txt dosyası kodları aşağıdadır. Bu kodlara öneri ve eleştirilerinizi yorumda belirtebilirsiniz. Bana göre bu kodlar, WordPress bir web sitesi için oldukça faydalı ve işlevsel robots.txt kodlarıdır. Zamanla daha da geliştirilebilir.

# robots.txt for http://alpaytekin.com/
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: /iletisim
Disallow: /2010
Disallow: /2011
Disallow: /2012
Disallow: /2013
Disallow: /2014
Disallow: /2015
Disallow: /2016
Disallow: /2017
Disallow: /2018
Disallow: /2019
Disallow: /*ref=*

User-agent: Googlebot-Image
Disallow: /
User-agent: ia_archiver
Disallow: /

Sitemap: http://alpaytekin.com/sitemap.xml

Yukarıdaki kodlarda kendi web sitenizin adını benimkiyle değiştirmeyi unutmayın. İndekslenmesini istemediğiniz dizinleri “Disallow: /” etiketinden sonra ekleyebilirsiniz.

Yukarıdaki kodlarda Google Images (Görseller) botunu da engelledim. Eğer resim, fotoğrafçılık vb. üzerine bir web siteniz yoksa bunu yapmak iyi olabilir. Böylece web sitenizin ana içeriği dışındaki ayrıntı içeriğin, internetin indeks çöplüğünde yerini almasını engellemiş olursunuz. Dolayısıyla, web sitenizle ilgili indekslenen içerik, web sitenizin temel, öz, ana içerikleri olur. Bu da SEO (Search Engine Optimization), yani arama motoru optimizasyonunda size fayda sağlar. Yani, Google’de aratılan anahtar kelimeler, eğer sitenizdeki içeriklerle bağlantılıysa, sitenizin ilgili arama sonuçlarında daha öne çıkmasına, belki ilk sayfaya veya birinci sonuca çıkmasına olanak tanır.

SEO uzmanlarına göre Google, bir web sitesinde az öz ve doğru etiketleri daha çok önemsiyor, site haritasında yalnızca yazıların listelenmesini faydalı buluyor, etiket çöplüğüne dönmüş, içerikle ilgisiz anahtar sözcüklerle doldurulmuş web sitelerine ve bunların sayfalarına daha az şans tanıyor. Bu mantığı aynı şekilde indekslenmesine gerek olmayan, örneğin pek çok web sitesinde yer alan “İletişim” sayfalarına da uygulayabiliriz. Bunu da robots.txt dosyamızda belirtmek akıllıca olacaktır. Bunun gibi başka sayfalarınız varsa onları da robots.txt dosyanızda engellemeyi unutmayın.

Dosyada “archive.org” botlarını da engelledim. Bence bu da gerekli bir ayar. Kendi web sitemizin bir kopyasının kontrolümüz dışında bir başka web sitesinde ebediyen kalmasını ben istemem. Değişim, kaldırma gibi kontrol hakkını elden alan bir durumdur bu.


AlpAytekin

Kökten Türkçü, pagan, liyâkatçı, militarist. Halkbilimci...

 127 kez okundu.