robots.txt ve Yapay Zeka Botları Rehberi

Bir işletme sitesinin yapay zeka cevaplarında hiç görünmemesinin en sık nedeni içerik kalitesi değil, robots.txt dosyasında duran tek bir satırdır. Üstelik bu satır çoğu zaman bilerek yazılmamıştır: bir eklenti, bir güvenlik ayarı ya da eski bir geliştirici kararıdır. Kontrolü beş dakika sürer, etkisi kanalın tamamıdır.

Eğitim botu ile arama botu aynı şey değil

Bu ayrım rehberin en önemli cümlesi. Bazı botlar model eğitimi için içerik toplar, bazıları ise bir kullanıcı o anda soru sorduğunda sayfayı çekip cevabı üretir. Eğitim botunu kapatmak, o motorun aramasında görünmenizi engellemez. Arama botunu kapatmak ise sizi o motorun cevaplarından tamamen siler. İkisini karıştırmak, gizlilik kaygısıyla görünürlüğü kapatmakla sonuçlanır.

Tanımanız gereken bot isimleri

OpenAI tarafında üç isim var: GPTBot eğitim için tarar, OAI-SearchBot ChatGPT'nin arama dizinini oluşturur, ChatGPT-User ise kullanıcının isteğiyle tek sayfa çeker. Anthropic tarafında ClaudeBot ve Claude-User; Perplexity tarafında PerplexityBot ve Perplexity-User aynı mantıkla ikiye ayrılır. CCBot ise Common Crawl'ın botudur ve topladığı arşiv birçok modelin eğitiminde kullanılır.

Google-Extended tam olarak neyi kapatır?

Google-Extended bir tarayıcı değil, bir izin anahtarıdır: Googlebot'un zaten topladığı içeriğin Gemini eğitiminde ve bazı yapay zeka özelliklerinde kullanılmasını reddeder. Kapatmak Google aramasındaki sıralamanızı etkilemez ve AI Overviews'ta çıkmanızı da engellemez, çünkü AI Overviews normal arama dizinini kullanır. Bu yüzden AI Overviews'tan çıkmak isteyen siteler için doğru araç değildir.

Kapatmanın gerçek maliyeti

Eğitim botlarını kapatmak savunulabilir bir tercihtir; özgün araştırma veya telifli içerik üreten yayıncılar için mantıklıdır. Ama hizmet satan bir işletme için hesap farklıdır: içeriğinizin modelde temsil edilmesi tanınırlık demektir. Kapatma kararı verilecekse eğitim botlarıyla sınırlı tutulmalı, arama ve kullanıcı botları açık bırakılmalıdır.

Yanlışlıkla engelleme: en sık üç senaryo

Birincisi geliştirme ortamından canlıya taşınan ve tüm botları kapatan bir robots.txt. İkincisi güvenlik eklentilerinin bilinmeyen kullanıcı aracılarını topluca engellemesi; bu genellikle robots.txt'te değil sunucu kuralında olur ve dosyaya bakarak fark edilmez. Üçüncüsü Cloudflare gibi katmanlarda tek tıkla açılan yapay zeka botu engelleme seçeneğinin unutulması.

Beş dakikalık kontrol

Önce tarayıcıda alanadi.com/robots.txt adresini açın ve Disallow satırlarını okuyun. Sonra sunucu erişim kayıtlarında son otuz güne bakıp GPTBot, OAI-SearchBot, ClaudeBot ve PerplexityBot isimlerini arayın. Dosya temiz görünüyor ama kayıtlarda hiçbir isim yoksa engel robots.txt'te değil, güvenlik duvarı katmanındadır. Cevap kodlarına da bakın: 200 yerine 403 dönüyorsa engelleme aktiftir.

Engellemenin daha ince yolu

Tüm siteyi kapatmak yerine dizin bazlı kural yazılabilir: yönetim panelleri, sepet ve arama sonucu sayfaları kapatılır, hizmet ve rehber sayfaları açık kalır. Sayfa bazında noai ve noimageai meta etiketleri de kullanılabilir, ancak desteklenme oranı sınırlıdır. En temiz yaklaşım, robots.txt'i kısa tutup gerçekten gizli kalması gereken alanları kimlik doğrulamanın arkasına almaktır. Unutulmaması gereken şey şu: robots.txt bir rica dosyasıdır, kural tanımayan tarayıcıları durdurmaz; gerçek koruma her zaman sunucu tarafındadır.