AI botları (GPTBot, ClaudeBot) nedir?
AI botları; OpenAI’ın GPTBot’u, Anthropic’in ClaudeBot’u ve Google’ın Google-Extended’ı gibi, yapay zekâ modellerinin siteni okumak için gönderdiği tarayıcılardır. robots.txt dosyanla bu botlara izin vermezsen yapay zekâ içeriğini göremez ve seni öneremez. Google’a görünür olmak, bu botlara görünür olmakla aynı şey değildir.
Neden önemli?
Yapay zekâ motorları web’i kendi tarayıcılarıyla okur: GPTBot ve OAI-SearchBot (ChatGPT), ClaudeBot (Claude), PerplexityBot (Perplexity), Google-Extended (Gemini). Sitendeki robots.txt dosyası bunları engelliyorsa motor senin sayfanı hiç göremez — hakkındaki her şeyi başkalarının yazdığı kaynaklardan öğrenir.
Örnek
Birçok WordPress eklentisi ve "AI’dan korunma" rehberi robots.txt’ye toplu engel satırları ekler. İşletme sahibi bundan habersizdir; site açıktır, Google’da görünür, ama ChatGPT için kapalıdır.
Ne yapmalı?
robots.txt dosyanı kontrol et. Engel bilinçli bir tercihse sorun yok; farkında olmadan konulmuşsa doğrudan görünürlük kaybıdır.
İlgili terimler
Peki sen cevapta var mısın?
Yapay zekânın işletmeni önerip önermediğini 1 dakikada, ücretsiz öğren.
AI Skorumu Gör