robots.txt nedir?
robots.txt, sitenin kökünde duran ve hangi tarayıcıların hangi sayfaları okuyabileceğini bildiren metin dosyasıdır. İçindeki tek bir satır GPTBot ya da Google-Extended’ı engelleyebilir; bu durumda ilgili yapay zekâ motoru siteni hiç okuyamaz.
Neden önemli?
robots.txt, sitene hangi tarayıcının girebileceğini belirleyen dosyadır ve içindeki tek bir satır bir yapay zekâ motorunun seni hiç okuyamamasına yol açabilir. En sinsi tarafı şu: site normal çalışmaya, Google’da görünmeye devam eder — sorun hiçbir yerde hata olarak görünmez.
Örnek
Siteyi 2019’da kuran ajans sunucu yükünü azaltmak için botları kapatmıştır. O günden beri GPTBot siteye hiç girememiştir ve ChatGPT işletme hakkında yalnızca başkalarının yazdıklarını bilir.
Ne yapmalı?
siten.com/robots.txt adresini aç ve GPTBot, Google-Extended, ClaudeBot, PerplexityBot için engel olup olmadığına bak. Emin değilsen ücretsiz AI bot erişim kontrolünü kullan.
İlgili terimler
Peki sen cevapta var mısın?
Yapay zekânın işletmeni önerip önermediğini 1 dakikada, ücretsiz öğren.
AI Skorumu Gör