Kurallar Google'ın yayımladığı yöntemle yorumlanır: bota en uygun grup seçilir, en uzun eşleşen kural kazanır, eşitlikte Allow öncelik alır. robots.txt yalnızca taramayı kontrol eder; engellenmiş bir sayfa başka sitelerden link alıyorsa yine de dizinde görünebilir. Sonuçlar 1 dakika önbellekte tutulur.
Kısaca cevap
Site adresini yazın ve Kontrol et'e basın. Araç /robots.txt dosyasını getirir, içeriğini ve site haritası satırlarını gösterir. Test edilecek yol kutusuna bir sayfa adresi (ör. /blog/yazi) yazıp bir bot seçerseniz, o sayfanın bu bot için taranabilir mi engelli mi olduğunu ve kararı hangi kuralın verdiğini görürsünüz.
Bu sayfada
robots.txt nedir?
robots.txt, sitenin kök dizininde (ornek.com/robots.txt) duran ve arama motoru botlarına hangi adresleri taramamaları gerektiğini söyleyen düz bir metin dosyasıdır. Her alt alan adı ve her protokol (http, https) kendi robots.txt dosyasına sahiptir. Tipik bir dosya şöyle görünür:
User-agent: *
Disallow: /yonetim/
Disallow: /ara?
User-agent: GPTBot
Disallow: /
Sitemap: https://www.ornek.com/sitemap.xml| Satır | Anlamı |
|---|---|
User-agent | Aşağıdaki kuralların hangi bot için geçerli olduğu. * tüm botlar demektir. |
Disallow | Bu yolla başlayan adresler taranmasın. |
Allow | Disallow ile engellenen bir klasörün içinde taranmasına izin verilen adres. |
Sitemap | Site haritasının tam adresi. Botlar siteyi bu listeden daha kolay keşfeder. |
* ve $ | * herhangi bir karakter dizisi, sondaki $ adresin sonu anlamına gelir (ör. Disallow: /*.pdf$). |
Kurallar nasıl yorumlanır?
Araç, Google'ın yayımladığı ve RFC 9309 standardına dayanan yöntemi kullanır:
- Bot için en özel
User-agentgrubu seçilir. Googlebot-Image içinGooglebot-Imagegrubu varsa o, yoksaGooglebot, o da yoksa*grubu kullanılır. Bot yalnızca seçilen grubun kurallarına uyar. - Adresle eşleşen kurallardan en uzun olanı kazanır.
- Aynı uzunlukta bir Allow ve bir Disallow kuralı eşleşirse Allow kazanır.
- Yollar büyük-küçük harfe duyarlıdır:
/Blogile/blogfarklı adreslerdir.
Sık yapılan hatalar
- Sayfayı arama sonuçlarından kaldırmak için robots.txt kullanmak: robots.txt taramayı engeller, dizine eklemeyi değil. Engellenen bir sayfa başka sitelerden link alıyorsa içeriği görülmeden arama sonuçlarında görünebilir. Sayfanın dizinde olmasını istemiyorsanız sayfaya
noindexekleyin ve robots.txt ile engellemeyin; aksi halde Google noindex etiketini hiç göremez. Sayfadaki etiketleri meta etiket kontrolü aracıyla görebilirsiniz. - CSS ve JavaScript dosyalarını engellemek: Google sayfayı bu dosyalarla birlikte görüntüler. Engellenirlerse sayfa eksik görünür.
- Yayına alınırken unutulan
Disallow: /: Test ortamından kalan bu satır tüm siteyi taramaya kapatır. - Crawl-delay'e güvenmek: Google bu satırı dikkate almaz; Bing ve Yandex gibi bazı botlar uygular.
Yapay zekâ botlarını engellemek
OpenAI'nin GPTBot, Anthropic'in ClaudeBot botları robots.txt kurallarına uyar. Google-Extended ise ayrı bir tarayıcı değil, içeriğinizin Google'ın yapay zekâ modellerinde kullanılmasını kontrol eden bir belirteçtir; engellemek Google Arama'daki görünürlüğünüzü etkilemez. Bu botları seçip / yolunu test ederek sitenizin bu botlara açık olup olmadığını görebilirsiniz.
robots.txt dosyası bulunamazsa (404) bu bir hata değildir; botlar tüm siteyi tarayabilir. Dosya sunucu hatası (5xx) veriyorsa ise Google taramayı geçici olarak durdurur. Sitenin genel durumunu site çalışıyor mu aracıyla kontrol edebilirsiniz.
Sık sorulan sorular
robots.txt ile engellenen sayfa Google'da çıkar mı?
Çıkabilir. robots.txt yalnızca taramayı engeller; sayfa başka sitelerden link alıyorsa içeriği olmadan adresiyle arama sonuçlarında görünebilir. Dizinden çıkarmak için noindex kullanın ve sayfayı robots.txt ile engellemeyin.
robots.txt dosyası olmazsa ne olur?
Hiçbir şey olmaz. Dosya bulunamadığında (404) botlar sitedeki tüm sayfaları tarayabileceklerini varsayar. Yine de site haritasını bildirmek için basit bir robots.txt eklemek faydalıdır.
Allow ve Disallow çakışırsa hangisi geçerli olur?
Adresle eşleşen en uzun kural geçerli olur. Uzunluklar eşitse Allow kazanır. Araç, karar veren kuralı sonuçta ayrıca gösterir.
robots.txt değişikliği ne zaman etkili olur?
Google robots.txt dosyasını genellikle bir gün kadar önbellekte tutar. Değişiklik bu süre içinde fark edilir; Search Console'daki robots.txt raporundan dosyanın yeniden getirilmesini isteyebilirsiniz.
GPTBot'u engellemek sitemi Google'dan düşürür mü?
Hayır. GPTBot OpenAI'ye aittir ve Google Arama ile ilgisi yoktur. Google'ın yapay zekâ kullanımını sınırlamak için kullanılan Google-Extended belirteci de arama sıralamasını etkilemez.
