Google-Extended robots.txt ile nasıl engellenir?

Google-Extended robots.txt ile nasıl engellenir? Kök dizindeki robots.txt dosyasına User-agent: Google-Extended ve Disallow: / satırları eklenerek engellenir. Bu kural, Google’ın Gemini ve bazı üretken yapay zekâ hizmetlerinde içerik kullanımını kontrol etmeye yarar.

Bu işlem, içeriğin Google Arama’dan kaldırıldığı anlamına gelmez. Google-Extended, Googlebot ile aynı şey değildir. Bu nedenle yalnızca Google-Extended kuralı eklemek, sayfalarınızın Google Arama sonuçlarında taranmasını veya listelenmesini durdurmaz.

Google-Extended robots.txt ile nasıl engellenir?

Google-Extended erişimini engellemek için robots.txt dosyanıza ayrı bir kullanıcı aracısı grubu ekleyin. Temel kural aşağıdaki gibidir:

User-agent: Google-Extended
Disallow: /

Disallow: / ifadesi, Google-Extended kapsamındaki tüm URL yollarını engeller. Yalnızca belirli bir klasörü kapatmak isterseniz Disallow: /blog/ gibi daha dar bir yol kullanabilirsiniz.

Dosya, sitenizin ana alan adının kökünde bulunmalıdır. Örneğin https://www.ornek.com/robots.txt adresi doğrudur. https://www.ornek.com/blog/robots.txt dosyası, sitenin tamamı için geçerli olmaz.

Google-Extended kuralını mevcut robots.txt kurallarından bağımsız bir grup olarak yazın. Googlebot grubuna eklenen bir Disallow satırı, Google-Extended için otomatik olarak aynı sonucu üretmez.

User-agent: Google-Extended
Disallow: /

User-agent: Googlebot
Allow: /

Bu örnekte Google-Extended engellenir, Googlebot ise genel olarak erişmeye devam eder. İki amacınız aynıysa, ilgili kullanıcı aracısı gruplarını ayrı ayrı tanımlamanız gerekir.

Google-Extended hangi Google hizmetlerini etkiler?

Google-Extended, yayıncının içeriğinin Gemini uygulamalarında ve Google’ın bazı üretken yapay zekâ hizmetlerinde kullanımını kontrol etmek için kullanılan bir robots.txt ürün belirtecidir.

Bu belirteç, Google Arama’daki standart tarama ve dizine ekleme davranışını tek başına yönetmez. Sayfalarınızın Arama sonuçlarında görünmesini istemiyorsanız ayrıca uygun bir Googlebot kuralı veya sayfa düzeyinde noindex uygulamanız gerekir.

Google-Extended’i engellemek, içeriğin internetteki diğer yapay zekâ sistemleri tarafından kullanılmasını da durdurmaz. Her bot kendi kullanıcı aracısını, robots.txt desteğini ve uyum politikasını kullanabilir.

Bu nedenle tek dosyayla tüm yapay zekâ tarayıcılarını kapatamazsınız. OpenAI, Anthropic, Common Crawl veya farklı bir hizmet için ayrı kullanıcı aracısı adları ve ayrı kurallar gerekebilir.

Google-Extended kuralı, içerik sahipliği veya telif bildirimi değildir. İçeriğin kime ait olduğunu kanıtlamaz. Ayrıca robots.txt, erişimi teknik olarak zorunlu kılan bir güvenlik katmanı değildir.

Sunucunuz hassas belgeler barındırıyorsa robots.txt yerine kimlik doğrulama, IP kısıtlaması veya dosyayı herkese açık sunmama yöntemlerini kullanın. Çünkü robots.txt içeriği herkese açık şekilde okunabilir.

Google-Extended ile Googlebot arasındaki fark nedir?

Google-Extended bir ürün belirtecidir; Googlebot ise Google Arama’nın web tarayıcısıdır. İkisini aynı satırda değerlendirmek, yanlış kapsamda engelleme yapmanıza neden olabilir.

Örneğin yalnızca Google-Extended’i engellerseniz Googlebot sayfanızı tarayabilir. Sayfa, diğer teknik koşullar da uygunsa Google Arama’da görünmeye devam edebilir.

Googlebot’u engellemek de otomatik olarak tüm Google AI kullanım senaryolarını açıklamaz. Google hizmetlerinin hangi tarama ve kullanım mekanizmasını kullandığını ayrıca kontrol etmeniz gerekir.

Yanlış: User-agent: Googlebot altında Disallow: / yazarak Gemini kullanımını yönetmek. Doğru: Google-Extended için ayrı grup oluşturup Googlebot kuralını ayrı amaçla değerlendirmek.

robots.txt dosyasına Google-Extended kuralı nasıl eklenir?

Google-Extended kuralını eklemenin ilk adımı mevcut robots.txt dosyasını yedeklemektir. Değişiklikten önce dosyanın tamamını kaydedin ve mevcut sitemap, izin ve engel satırlarını inceleyin.

1. Alan adınızın kökündeki robots.txt dosyasını açın.
2. Google-Extended için yeni bir kullanıcı aracısı grubu ekleyin.
3. Tüm siteyi engellemek için Disallow: / yazın.
4. Yalnızca klasör engelleyecekseniz yolu eğik çizgiyle belirtin.
5. Dosyayı UTF-8 biçiminde kaydedip canlı URL üzerinden kontrol edin.
6. Sunucu yanıtının 200 olduğunu ve yanlış yönlendirme olmadığını doğrulayın.

Birden fazla kural grubunu karıştırmayın. Kullanıcı aracısı satırından sonra gelen Disallow ve Allow satırları o grupla ilişkilendirilir.

User-agent: Google-Extended
Disallow: /ai-egitim/
Disallow: /premium/

User-agent: *
Disallow: /admin/
Sitemap: https://www.ornek.com/sitemap.xml

Bu örnekte Google-Extended yalnızca iki klasöre erişemez. Diğer genel botlar için ise yalnızca /admin/ yolu engellenmiştir.

Dosyayı CMS eklentisiyle yönetiyorsanız eklentinin robots.txt çıktısını kontrol edin. Bazı sistemler sanal dosya üretir ve sunucudaki fiziksel dosyayı dikkate almaz.

CDN, güvenlik duvarı veya önbellek katmanı kullanıyorsanız canlı dosyayı farklı bir katman sunabilir. Kontrolü her zaman tarayıcıdaki son URL üzerinden yapın.

Google-Extended robots.txt kuralı nasıl test edilir?

Google-Extended kuralını test etmek için önce robots.txt dosyasının canlı içeriğini, sonra sunucu yanıtını ve son olarak erişim günlüklerini inceleyin.

Tarayıcıda https://alanadiniz.com/robots.txt adresini açın. Dosyada beklediğiniz Google-Extended grubunun bulunduğunu kontrol edin. Dosya HTML sayfası döndürüyorsa yapılandırma yanlıştır.

Komut satırında aşağıdaki gibi başlık kontrolü yapabilirsiniz:

curl -I https://alanadiniz.com/robots.txt
curl https://alanadiniz.com/robots.txt

İlk komut HTTP durumunu gösterir. İkinci komut dosyanın gerçek içeriğini verir. Yanıtın sürekli olarak 200 OK dönmesi beklenir; geçici bakım, 403 veya 5xx yanıtları ayrıca incelenmelidir.

Robots.txt testinde en sık yapılan hata, yalnızca dosyanın tarayıcıda açılmasına bakmaktır. Dosya görünse bile CDN eski sürümü sunabilir veya farklı alan adı farklı dosya döndürebilir.

Alan adının www ve www olmayan sürümlerini ayrı kontrol edin. HTTP’den HTTPS’ye yönlendirme varsa son hedefteki robots.txt içeriğini de inceleyin.

Sunucu günlüklerinde ilgili bot isteklerini gözlemlemek yardımcı olur. Ancak Google-Extended’in ayrı bir HTTP tarayıcısı gibi görünmeyebileceğini unutmayın; ürün belirteciyle tarama kimliği aynı kavram değildir.

Bu nedenle erişim günlüğünde tam olarak Google-Extended metnini bulamamanız, kuralın kesinlikle çalışmadığını göstermez. Robots.txt, ürün kapsamı için yayıncı tercihidir; güvenlik duvarı engeli değildir.

Google-Extended engeli Google Arama görünürlüğünü kapatır mı?

Hayır, yalnızca Google-Extended’i engellemek Google Arama görünürlüğünü kapatmaz. Bu kural, Googlebot’un tarama ve dizine ekleme iznini doğrudan değiştirmez.

Bir URL’nin Arama’da görünmesini istemiyorsanız sayfaya uygun bir noindex yönergesi ekleyebilir veya Googlebot için robots.txt erişimini değerlendirebilirsiniz. Bu iki yöntem aynı sonucu vermez.

noindex uygulanabilmesi için arama motorunun sayfayı tarayabilmesi gerekir. Googlebot robots.txt ile tamamen engellenirse bot, sayfadaki noindex yönergesini göremeyebilir.

Bu ayrım, teknik SEO planlamasında önemlidir. Arama görünürlüğünü kapatmak için noindex kullanırken, yapay zekâ kullanımını kontrol etmek için Google-Extended grubunu ayrıca yönetebilirsiniz.

Örneğin bir makalenin Google Arama’da görünmesini istiyor, Gemini kapsamındaki kullanımını sınırlamak istiyorsanız Google-Extended’i engelleyip Googlebot’a izin verebilirsiniz.

Tersine, sayfanın Arama’da da görünmemesini istiyorsanız ayrıca noindex veya uygun Googlebot kuralı gerekir. Tek satırlık Google-Extended engeli bu ihtiyacı karşılamaz.

Robots meta etiketinin HTML içindeki konumu da ayrı bir konudur. Robots meta etiketi head dışında çalışır mı? sorusunun yanıtı, sayfa yönergelerinin neden doğru yerde bulunması gerektiğini açıklar.

robots.txt ve robots meta etiketi birlikte kullanılabilir mi?

Evet, robots.txt ve robots meta etiketi birlikte kullanılabilir; ancak farklı katmanları yönetirler. Robots.txt botun URL’ye erişim talebini, meta etiketi ise erişilen HTML sayfasındaki dizine ekleme talimatını yönetir.

Google-Extended için robots.txt kuralı, Google’ın üretken AI kullanım tercihini belirtir. Sayfaya eklenen <meta name='robots' content='noindex'> ise Arama dizinindeki görünürlüğü hedefler.

Bu iki yönergeyi aynı amaç sanmak hatalı sonuç verir. Bir sayfada noindex bulunması, sayfanın tüm AI sistemleri tarafından kullanılmayacağını garanti etmez.

Aynı şekilde Google-Extended engeli, sayfanın Google Arama’da indekslenmesini veya başka arama motorlarının içeriği işlemesini otomatik olarak durdurmaz.

Uygulama yaparken sayfa bazlı ve site bazlı hedefleri ayırın. Site genelinde Google-Extended’i engellemek istiyorsanız robots.txt kullanın. Yalnızca belirli sayfalarda arama görünürlüğünü kapatmak istiyorsanız noindex değerlendirin.

Robots yönergelerinin HTML dışında, yanlış konumda kullanılması da sorun çıkarır. Bu nedenle robots.txt ve yapay zekâ botları rehberi üzerinden kullanıcı aracısı gruplarını ve kapsam farklarını ayrıca inceleyebilirsiniz.

Özel içeriklerde erişim kontrolü gerekiyorsa bu iki yöntem yeterli değildir. Üyelik sistemi, oturum kontrolü veya sunucu seviyesinde yetkilendirme gerekir.

Google-Extended kuralı hangi durumlarda işe yaramaz?

Google-Extended kuralı, botun robots.txt yönergelerine uymadığı veya Google-Extended kapsamını desteklemediği durumlarda beklenen korumayı sağlamaz.

Robots.txt gönüllü uyum mekanizmasıdır. Kötü niyetli bir bot, dosyayı okuyup yok sayabilir. Bu nedenle ticari sır, müşteri verisi veya yayımlanmaması gereken belgeler robots.txt ile korunmamalıdır.

İkinci sınırlama, kapsamın yalnızca Google’ın ilgili AI ürünleriyle bağlantılı olmasıdır. Başka şirketlerin modelleri için kendi kullanıcı aracısı belgelerini ve yayıncı kontrollerini incelemeniz gerekir.

Üçüncü sınırlama, daha önce toplanmış veya farklı kanallardan elde edilmiş verilerle ilgilidir. Robots.txt kuralı, internet üzerindeki tüm kopyaları, alıntıları veya üçüncü taraf arşivlerini geri çekmez.

Dördüncü hata, dosyanın yanlış alanda yayımlanmasıdır. Alt klasördeki, yanlış alan adındaki veya yalnızca geliştirme ortamındaki robots.txt canlı siteyi etkilemez.

Beşinci hata, tüm siteyi kapatmak yerine yalnızca bir klasörü engellediğini unutmak olur. Disallow: /ai/ yalnızca /ai/ yolu ve alt yolları hedefler.

Bu sınırlamaları anlamak için web sitesinde AI ajanları için robots.txt ayarlama yaklaşımını da karşılaştırabilirsiniz. AI ajanları, Google-Extended ile aynı kullanıcı aracısı değildir.

Google-Extended robots.txt kontrol listesi nedir?

Yayınlamadan önce aşağıdaki kontrol listesi, Google-Extended engelinin doğru kapsamda uygulanıp uygulanmadığını gösterir.

• robots.txt dosyası alan adının kökünde yayınlanıyor mu?
• User-agent: Google-Extended satırı ayrı bir grup içinde mi?
• Tam engel için Disallow: / kullanıldı mı?
• Yalnızca klasör engelleniyorsa yol doğru ve eğik çizgili mi?
• Googlebot grubu Google-Extended grubuyla karıştırılmadı mı?
• www, www olmayan ve HTTPS sürümleri kontrol edildi mi?
• Canlı dosya 200 OK yanıtı veriyor mu?
• CDN veya önbellek eski robots.txt sürümünü sunuyor mu?
• Hassas dosyalar için sunucu erişim kontrolü kullanılıyor mu?
• Google Arama görünürlüğü için ayrıca noindex gerekip gerekmediği belirlendi mi?

Kontrol listesindeki her maddeyi ayrı kanıtla doğrulayın. Örneğin “dosya çalışıyor” demek yerine canlı URL, HTTP durum kodu ve dosya içeriğini kaydedin.

Değişiklik sonrasında önbellek sürelerini de not edin. Bir CDN veya hosting sistemi robots.txt dosyasını önbelleğe alıyorsa yeni kuralın her noktada aynı anda görünmesi beklenmeyebilir.

Test sırasında üretim ve staging ortamlarını ayırın. Staging’de doğru çalışan kural, canlı alan adında farklı bir CMS eklentisi veya sunucu yapılandırması nedeniyle değişebilir.

Kurumsal sitelerde değişikliği kayıt altına almak faydalıdır. Tarih, değişen satır, hedef alan adı ve doğrulama çıktısı birlikte saklanırsa ilerideki SEO denetimleri kolaylaşır.

Google-Extended engellemesinden sonra hangi kontroller yapılmalı?

Engelleme sonrasında ilk kontrol, robots.txt dosyasının canlı sürümünde kuralın hâlâ bulunmasıdır. CMS güncellemesi veya deploy işlemi dosyayı eski hâline döndürebilir.

İkinci kontrol, Google Arama görünürlüğünün yanlışlıkla etkilenip etkilenmediğidir. Arama sonuçlarında kayıp yaşanırsa önce Googlebot gruplarını, noindex yönergelerini ve sunucu yanıtlarını inceleyin.

Üçüncü kontrol, engellenmesi planlanan ve açık bırakılan yolların örneklenmesidir. Örneğin ana sayfa, blog yazısı, medya dosyası ve özel klasörden birer URL seçerek kural kapsamını belgeleyin.

Bu süreçte amaç, yalnızca bir satır eklemek değildir. Amaç, Google-Extended tercihini Google Arama yönetiminden, diğer AI botlarından ve güvenlik kontrollerinden ayırarak ölçülebilir biçimde uygulamaktır.

İçeriğinizin Google AI kapsamındaki kullanımını sınırlamak istiyorsanız temel örnek şudur:

User-agent: Google-Extended
Disallow: /

Google Arama’yı açık tutmak istiyorsanız Googlebot için ayrıca engel eklemeyin. Arama dizinini de yönetmek istiyorsanız noindex ve tarama kurallarını ayrı bir teknik kararla uygulayın.

Robots.txt stratejiniz sitenizdeki diğer AI botlarını da kapsıyorsa, her botu kendi kullanıcı aracısı ve amacıyla değerlendirin. Tek bir joker kural, tüm hizmetlerin davranışını aynı şekilde açıklamaz.

Google-Extended, dar kapsamlı fakat önemli bir yayıncı kontrolüdür. Doğru yerde, ayrı kullanıcı aracısı grubunda ve güvenlik yöntemiyle karıştırılmadan kullanıldığında beklentiyi netleştirir.