🕷️ SEO Aracı

Robots.txt Oluşturucu

Arama motoru botlarını sitenizde doğru yönlendirin.

Varsayılan İzin (Tüm Botlar)

Gecikme Süresi (Crawl-delay)

Botların sitenizi tarama sıklığını yavaşlatır.

Site Haritası (Sitemap XML)

Engellenecek Klasörler

Yönetim Paneli (/admin/, /wp-admin/)

Özel Dosyalar (/cgi-bin/, /tmp/)

ÖNİZLEME

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Arama motoru botlarına (Googlebot, Bingbot vb.) sitenizin hangi sayfalarını tarayabileceklerini veya tarayamayacaklarını söyler.

Neden Önemlidir?

Gizlilik: Admin paneli veya üye özel sayfalarının Google'da çıkmasını engeller.
Sunucu Yükü: Gereksiz bot trafiğini engelleyerek sunucunuzu rahatlatır.
Tarama Bütçesi: Google'ın sitenizi taramak için ayırdığı süreyi, önemli sayfalarınıza odaklamasını sağlar.