Temel Teknik Terimler
robots.txt
Arama motoru botlarına sitenin hangi alanlarını tarayabileceklerini söyleyen metin dosyası.
Hızlı bakış Botlara yol gösteren basit erişim kural dosyası.
Bu maddeyi kısa ve net hatırlamak istersen başlangıç noktası burası.
Mini örnek Tarama kontrolü
`/admin/` gibi herkese açık olmasını istemediğin ama yine de internette duran alanları botlardan uzak tutmak için robots.txt kuralları yazabilirsin.
Sık karıştırılanlar
Kısa tanım
robots.txt, botlara sitenin hangi bölümlerini tarayabileceklerini veya taramamaları gerektiğini söyleyen dosyadır.
Basit anlatım
Binanın bazı kapılarına ‘personel dışında girilmez’ yazısı asmak gibi. Kapı oradadır ama herkese açık davet değildir.
Ne zaman kullanılır?
- Gereksiz alanların botlar tarafından taranmasını azaltmak istediğinde
- Admin, test veya filtre sayfalarını sınırlamak istediğinde
- Sitemap dosyasının yerini botlara göstermek istediğinde
Dikkat edilmesi gerekenler
- robots.txt gizlilik aracı değildir; sadece botlara talimat verir
- Yanlış kural yazarsan önemli sayfaları da istemeden tarama dışı bırakabilirsin
- Arama sonuçlarından çıkarmak için tek başına her zaman yeterli değildir
İlgili başlıklar
Sitemap, indexing