Robots.txt Nedir?

Bu dosya üzerinde verilen komutlar arama motoru botlarına sitenizin sınırını berlitmektedir. Belirli dosyaları indexlenmesini engellemek, belirli klasörleri devre dışı bırakmak gibi işlemler robots.txt dosyası tarafndan gerçekleştirilir. Bu dosya ana dizinde bulunmalıdır ve isim değiştirilemez.