robots.txt’de AI Botlarını Engelliyor musun? Liste ve Kontrol

Yapay zekâ motorları bir işletmeyi önerebilmek için önce sitesini okuyabilmek zorunda. Sitenin kök dizinindeki robots.txt dosyası bu okumayı açar ya da kapatır — ve Türkiye’deki işletme sitelerinde bu dosya çoğu zaman sahibinin haberi olmadan yazılmıştır.

Ücretsiz taramalarımızda en sık rastladığımız teknik sorun bu: site ayakta, Google’da görünüyor, ama yapay zekâ tarayıcılarına kapalı.

AI botları kimler?

Her motorun web’i okuyan kendi tarayıcısı var. Bugün yerel işletme görünürlüğü açısından önemli olanlar:

• GPTBot — OpenAI’ın içerik tarayıcısı
• OAI-SearchBot — ChatGPT’nin arama tarafı
• ChatGPT-User — kullanıcı bir bağlantıya tıkladığında sayfayı açan ajan
• Google-Extended — Gemini’nin içerik erişimi
• ClaudeBot ve Claude-User — Anthropic
• PerplexityBot ve Perplexity-User — Perplexity
• Applebot-Extended — Apple’ın yapay zekâ tarafı

Bunlardan biri engelliyse o motor senin sayfanı okuyamaz. Seni tamamen unutmaz — ama hakkındaki her şeyi başkalarının yazdığı kaynaklardan öğrenir. Yani anlatını sen yazamazsın.

Engel nasıl oraya girdi?

Neredeyse hiçbir işletme sahibi bu satırları kendi yazmadı. En yaygın üç yol:

1. Eklentiler. WordPress’te güvenlik ve SEO eklentilerinin bir kısmı, "yapay zekâdan içerik koruma" özelliğini varsayılan olarak açık getirdi.
2. Ajans varsayılanı. 2024-2025’te birçok ajans, müşteri sitelerine toplu engel satırları ekledi. O dönemin tartışması "içeriğimiz modele girmesin"di; kimse yerel işletme görünürlüğünü düşünmüyordu.
3. Kopyalanan şablonlar. İnternetteki hazır robots.txt örnekleri elden ele dolaştı.

Üçünün ortak noktası: karar bir kez verildi, sonra kimse geri dönüp bakmadı.

Engellemek her zaman yanlış mı?

Hayır — ama bilerek yapılmışsa. İçeriğinin modelin eğitim verisine girmesini istemiyorsan bu meşru bir tercih. Sorun, tercihin farkında olunmadan yapılmış olması.

Şunu ayırmak da faydalı: eğitim botu ile arama botu aynı şey değil. GPTBot içerik toplar; OAI-SearchBot ise ChatGPT bir soruya cevap verirken canlı arama yapar. İkincisini engellemek, doğrudan "beni önerme" demektir. Eğitim botunu kapatıp arama botunu açık bırakmak makul bir orta yol.

Nasıl kontrol edeceksin?

En hızlısı: ücretsiz AI bot erişim kontrolümüzle siteni tara. robots.txt kurallarını, llms.txt dosyanı, içeriğinin okunabilirliğini ve işletme bilgilerini tanıtan kodu tek ekranda görürsün. Kayıt istemiyoruz.

Elle bakmak istersen: tarayıcına siten.com/robots.txt yaz. Şuna benzer satırlar arıyorsun:

User-agent: GPTBot
Disallow: /

Disallow: / "hiçbir şeyi okuma" demek. User-agent: * altındaki bir Disallow: / ise tüm botları kapatır — bu durumda Google’da da görünmüyor olman gerekir, ki genelde asıl kaza budur.

Nasıl düzeltilir?

Engel satırlarını kaldırmak yeterli. Karşılamak istiyorsan açıkça yazabilirsin:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Değişikliğin motorlara yansıması genellikle günler sürer; tarayıcılar robots.txt’yi önbelleğe alır.

Bir uyarı: bot koruması da engeldir

Cloudflare ve benzeri servislerin "bot koruması", robots.txt’de hiçbir engel olmasa bile AI tarayıcılarını 403 ile geri çevirebilir. Site tarayıcıdan açılır, botta açılmaz. Bunu robots.txt’ye bakarak anlayamazsın — gerçekten bir istek atmak gerekir. Kontrol aracımız tam da bunu yapıyor ve bu durumu ayrıca bildiriyor.

Engeli kaldırdım, şimdi öneriliyor muyum?

Hayır — ve bu ayrım önemli. Botların siteni okuyabilmesi bir ÖN KOŞUL, bir sonuç değil. Kapıyı açtın; içeride ne bulacakları ayrı bir soru.

Önerilip önerilmediğini öğrenmenin tek yolu sormak: ücretsiz görünürlük testimizde sektörünle ilgili gerçek bir soruyu ChatGPT’ye soruyoruz ve yanıtta adının geçip geçmediğini gösteriyoruz. Simülasyon değil, canlı yanıt.