Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru robotlarına sitenin hangi bölümlerini tarayıp hangilerini taramamaları gerektiğini bildiren düz metin dosyasıdır; tarama trafiğini yönetir ancak sayfaları dizinden çıkarmaz ve gizlilik sağlamaz.
Robots.txt, siteadi.com/robots.txt adresinde duran basit bir metin dosyasıdır. İçinde hangi robotun (User-agent) hangi yolları taramaması (Disallow) ya da taramasına izin verildiği (Allow) yazar; çoğu zaman XML site haritasının adresi de burada bildirilir. Arama motoru robotları siteye gelmeden önce bu dosyaya bakar ve kurallara genellikle uyar. Dosya öneri niteliğindedir: iyi niyetli robotlar uyar, kötü niyetli tarayıcılar umursamaz. Robots.txt taramayı yönetir; bir adresi engellemek onu dizinden çıkarmaz, başka sitelerden bağlantı alıyorsa içeriği görülmeden dizinde kalabilir.
İşletme sahibi için neden önemli
Robotların sitenizde harcayacağı zaman sınırlıdır. Robots.txt ile yönetim paneli, iç arama sonuçları, sonsuz filtre kombinasyonları gibi değer taşımayan alanları tarama dışı bırakarak robotun gerçek sayfalarınıza odaklanmasını sağlarsınız. Öte yandan bu dosyadaki tek bir yanlış satır tüm siteyi taramaya kapatabilir. Geliştirme ortamında konulan 'her şeyi engelle' kuralı canlıya taşındığında site aylarca arama sonuçlarından düşebilir; bu, yayın sonrası en sık görülen teknik kazalardandır.
Örnek
Bir e-ticaret sitesinin robots.txt dosyası, tema klasörünü engelliyordu; CSS ve JavaScript dosyaları da bu klasördeydi. Google sayfaları stilsiz ve bozuk görüyor, mobil uyumluluk testinden geçiremiyordu. Engel kaldırılıp yalnızca sepet, hesap ve iç arama yolları tarama dışı bırakıldı; site haritası adresi dosyaya eklendi.
Sık yapılan hata
Site genelini engelleyen kuralı canlı ortamda unutmaktır. İkincisi, gizli tutulmak istenen yolları robots.txt'ye yazmak; dosya herkese açıktır ve bu, gizli klasörlerin listesini ilan etmek anlamına gelir. Üçüncüsü, CSS ve JavaScript kaynaklarını engelleyip Google'ın sayfayı doğru göremez hale gelmesi. Dördüncüsü, dizinden çıkarmak için robots.txt kullanmak; bunun aracı noindex'tir.
Teklif alırken sorulacak soru
Robots.txt içeriği yayın öncesi bizimle paylaşılacak ve canlıya geçişte site geneli engel olmadığı doğrulanacak mı? CSS ve JavaScript kaynaklarının robotlara açık olduğu test edilecek mi?
Sık sorulanlar
Robots.txt olmazsa ne olur?
Dosya yoksa robotlar siteyi serbestçe tarar; bu çoğu küçük site için sorun yaratmaz. Ancak site haritası bildirimi ve gereksiz alanların dışlanması için dosyanın bulunması iyi uygulamadır.
Robots.txt ile bir sayfayı gizleyebilir miyim?
Hayır. Dosya herkese açıktır ve yalnızca iyi niyetli robotları yönlendirir; gizlilik için parola koruması ya da sunucu düzeyinde erişim kısıtı gerekir.
