İçeriğe geç

GeoMonoBot

TARAYICI BİLDİRİMİ

Sunucu kayıtlarınızda bu adı ya da eski adımız GoPersonaBot'u gördüyseniz doğru yerdesiniz. Aşağıdaki her satır koddan okunmuştur; tahmin yok.

Yapay zekâ botları sitenize girebiliyor mu?

Alan adınızı yazın. Ücretsiz hazırlık kontrolü robots.txt kurallarınızı her yapay zekâ botu için ayrı okur ve sunucunuzun bu botlara, kendi tarayıcımıza davrandığından farklı davranıp davranmadığını ölçer.

Adres ücretsiz hazırlık kontrolünde açılır ve tarama hemen başlar. Kayıt, kart ya da e-posta yok.

Ne göreceksiniz

  • Arama ve kullanıcı botlarının her biri için robots.txt kararı: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, bingbot
  • Eğitim botları (GPTBot, ClaudeBot, Google-Extended, CCBot) için ayrı, puanı düşürmeyen bir not
  • Aynı sayfa yapay zekâ botu adlarıyla istendiğinde, kendi tarayıcımızın aldığından farklı bir yanıt gelip gelmediği
  • Sitenizin önünde hangi CDN'in durduğu
  • robots.txt içindeki Sitemap satırı ve site haritasının gerçekten XML olup olmadığı
  • Sayfanın yapay zekâ özetlerinde alıntılanmasını kısıtlayan yönergeler

Tarayıcı bildirimi

Tarayıcımız hakkında

Kim olduğumuz

İsteklerimiz şu kimlikle gelir: Mozilla/5.0 (compatible; GeoMonoBot/1.0; +https://geomono.com/bot)

29 Eylül 2026'ya kadar adımız GoPersonaBot idi. Eski adla yazdığınız robots.txt kuralları geçerli kalır: kendi tarayıcımız için her kararda iki adın kurallarını da okur, daha kısıtlayıcı olanı uygularız.

GeoMono, bir markanın yapay zekâ yanıt motorlarında nasıl göründüğünü ölçer. Sitenize gönderdiğimiz istekler, o ölçümün teknik yarısıdır: sayfanızın makineler tarafından okunabilir olup olmadığı.

Bir taramada tam olarak ne istiyoruz

Bir kişi bir adres yazdığında, o adresteki TEK sayfayı alırız. Ardından aynı kökten yardımcı dosyalar: /robots.txt, /sitemap.xml, /llms.txt ve ajan tanımlayıcıları için .well-known yolları (mcp/server-card.json, mcp.json, agent-card.json, api-catalog, agent-skills/index.json, http-message-signatures-directory, oauth-authorization-server, oauth-protected-resource).

Buna ek olarak aynı sayfayı bir kez Markdown olarak isteriz (Accept: text/markdown) ve yedi kez daha, aralarında yaklaşık bir saniye bırakarak; her biri farklı bir yapay zekâ tarayıcısının kimliğiyle. Sebebi aşağıda.

Bu, tarama başına bir kez olur: sayfanız, robots.txt, llms.txt ve site haritası dosyaları için sınırlı sayıda istek. Sayfa isteği 12 saniyede, yardımcı istekler 6 saniyede zaman aşımına uğrar; 5 MB'ın ötesini okumayız.

Neden yedi isteğimiz bir yapay zekâ tarayıcısının adını taşıyor

Yedi istek OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, GPTBot ve ClaudeBot adlarını taşır, her birinin ardından da kendi kimliğimiz gelir: "GeoMonoBot-probe; +https://geomono.com/bot". Ölçtüğümüz şey, uç sunucunuzun bu tarayıcı adlarına kendi tarayıcımıza davrandığından farklı davranıp davranmadığıdır; kural bu adlara baktığı için adı taşımamız gerekir.

Bu isteklerde OpenAI, Anthropic ya da Perplexity'nin iletişim adresleri yoktur, çünkü onları gönderen biziz. Kayıtlarınızda bu satırları görürseniz kaynağı burasıdır. Tüm kullanıcı ajanı dizesini birebir eşleyen bir kural bu isteklerde çalışmaz; bu yüzden "aynı davranıyor" sonucu bir garanti değildir.

robots.txt ile ilişkimiz

robots.txt dosyanızı okuruz, ama kendi isteğimiz için izin olarak değil, hakkında rapor vermek için. Bir kişi bir adres yazdı ve o tek sayfa alındı; bu bir tarama değil, bir denetimdir.

Bunu böyle yazıyoruz çünkü "robots.txt'ye uyuyoruz" cümlesi daha iyi okunurdu ve bu istek için doğru olmazdı.

Bizi nasıl engellersiniz

robots.txt dosyanıza şunu ekleyin: User-agent: GeoMonoBot ve altına Disallow: /. Günlük hazırlık kontrolü buna tamamen uyar: ana sayfanız izinli değilse yalnızca robots.txt dosyasını okur, başka hiçbir şey almaz. Haftalık yeniden ölçüm ana sayfanızı yine okur, izin verilmeyen diğer sayfaları atlar. Birinin ücretsiz taramada yazdığı adres de tek sayfalık bir denetimdir ve alınır. Bunları da durdurmak için uç sunucunuzda kimliğimizi engelleyin.

Sitenizi iki durumda ziyaret ederiz: biri ücretsiz taramada adresinizi yazdığında ya da markanız GeoMono'da takip ediliyorsa, planlı işlerimizle (günlük hazırlık kontrolü ve haftalık yeniden ölçüm). Takip edilmeyen bir siteyi kendiliğinden ziyaret etmeyiz. Uç sunucunuzda kimliğimize göre engellemek de işe yarar.

Yapmadığımız şeyler

Özel ya da iç ağ adreslerine istek göndermeyiz; bir koruma bunu reddeder. Form doldurmayız, oturum açmayız, sayfanızdaki hiçbir şeye tıklamayız. Sunucunuzun zaten herkese açık olarak verdiği baytların ötesinde bir şey okumayız.

Kayıtlarınızda beklemediğiniz bir şey gördüyseniz yazın:

info@geomono.com

Nasıl kullanılır

  1. Alan adınızı yazın

    Kutuya sitenizin adresini yazın; ücretsiz hazırlık kontrolü açılır ve tarama hemen başlar.

  2. Yapay zekâ erişimi başlığını açın

    Sonuçta her bot için ayrı bir satır görürsünüz. Düzeltilecek satırlar, o botun robots.txt'de ya da uç sunucuda durdurulduğu yerlerdir.

  3. Kararı bilerek verin

    Arama botlarını açık tutmak ve eğitim botları için ayrı bir karar vermek mümkündür. Aşağıdaki örnek, görevleri ayıran bir robots.txt'nin nasıl göründüğünü gösterir.

Rehber

Üç tür yapay zekâ botu

Bir yapay zekâ şirketinin sitenize gönderdiği istekler üç görevden birine hizmet eder ve her görevin kendi bot adı vardır. Aşağıdaki tablo, taramamızın ayrı ayrı okuduğu botları şirketlerin kendi belgelerindeki görevlerine göre gösterir.

Taramanın robots.txt'de adıyla okuduğu yapay zekâ botları
BotŞirketGörevTaramadaki önemi
OAI-SearchBotOpenAIArama diziniKritik
ChatGPT-UserOpenAIKullanıcı isteğiOrta
GPTBotOpenAIModel eğitimiBilgi amaçlı
Claude-SearchBotAnthropicArama diziniKritik
Claude-UserAnthropicKullanıcı isteğiOrta
ClaudeBotAnthropicModel eğitimiBilgi amaçlı
PerplexityBotPerplexityArama diziniKritik
Perplexity-UserPerplexityKullanıcı isteğiOrta
GooglebotGoogleArama diziniKritik
Google-ExtendedGoogleModel eğitimiBilgi amaçlı
bingbotMicrosoftArama diziniOrta
CCBotCommon CrawlModel eğitimiBilgi amaçlı

Önem sütunu taramadaki ağırlıktır. OpenAI, Anthropic, Perplexity ve Google'ın arama botları kritiktir, çünkü o motorun yanıtlarında kaynak olarak görünmenin yolu onlardan geçer. Kullanıcı botları orta düzeydedir: bir kullanıcı sayfanızı sorduğunda o anda açılırlar ve OpenAI ile Perplexity bu isteklerde robots.txt kurallarının uygulanmayabileceğini belgeler. Eğitim botları yalnızca bilgi verir; onları engellemek bir veri politikası kararıdır.

Google-Extended ayrı bir kontrol belirtecidir. Google'ın belgelerine göre içeriğinizin Gemini modellerinin eğitiminde ve bazı ürünlerde dayanak olarak kullanılıp kullanılmayacağını yönetir; Google Arama'ya dahil edilmeyi ya da sıralamayı etkilemez.

robots.txt'de yapay zekâ botlarını ayırmak

robots.txt'de her bot kendi adıyla ele alınabilir ve bir grup birden fazla bot adı taşıyabilir. Bir botun adına özel bir grup yoksa bot, yıldızlı gruba (User-agent: *) uyar. Sık yapılan hata, eğitim botlarını durdurmak isterken arama botlarını da aynı genel kuralla kapatmaktır.

# Arama ve kullanıcı botları: izinli
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Eğitim botları: bu örnekte kapalı
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Sitemap: https://alanadiniz.com/sitemap.xml
Örnek bir robots.txt. Bir öneri değil, görevleri ayıran bir karar örneği.

Eğitim botlarını açık bırakmak da meşru bir tercihtir; önemli olan her grubun ne için orada olduğunu bilerek yazılmasıdır. Googlebot ve bingbot bu örnekte yazılmadı: bir tarayıcının adına bir grup ve yıldızlı bir grup yoksa, protokole göre ona bir kısıtlama da yoktur. Kuralı yazdıktan sonra taramayı çalıştırın: her botun robots.txt kararı ayrı bir satırda görünür.

Bir not: robots.txt bir rica protokolüdür, bir erişim denetimi değil. Protokolün kendi belgesi (RFC 9309) bu kuralların bir yetkilendirme biçimi olmadığını açıkça söyler. Kesin bir engel gerekiyorsa kuralı sunucuda ya da CDN'de yazmak gerekir.

robots.txt izin veriyor, CDN durduruyor

robots.txt izin verse bile istek sunucunuza ulaşmadan durdurulabilir. Cloudflare, Temmuz 2025'te yeni alan adları için yapay zekâ tarayıcılarını varsayılan olarak engelleyecek şekilde ayarını değiştirdiğini duyurdu. Bir güvenlik duvarı kuralı ya da bot yönetimi ayarı da aynı sonucu doğurabilir ve bunların hiçbiri robots.txt'de görünmez.

Taramamız bunu ölçmek için aynı sayfayı bir kez kendi kimliğimizle, üç kez de GPTBot, ClaudeBot ve PerplexityBot adlarını taşıyan kimliklerle ister ve yanıtları karşılaştırır. Bu istekler bizim kimliğimizi de taşır; nedeni yukarıdaki bildirimde yazıyor.

Sınırını da söyleyelim: bu, tek bir adresten ve kullanıcı ajanı düzeyinde bir kanıttır. Bazı CDN'ler botları IP adresleriyle doğrular ve gerçek bot farklı karşılanabilir. Kesin kanıt sunucu kayıtlarınızdadır.

Alıntılanmayı ne kontrol eder?

Bir sayfanın yapay zekâ özetlerinde ne kadar alıntılanabileceği robots.txt ile değil, sayfa düzeyindeki yönergelerle belirlenir. Google, arama sonucu önizlemesini yöneten kontrollerin (nosnippet, data-nosnippet, max-snippet, noindex) yapay zekâ özelliklerini de yönettiğini belgeliyor.

Bu yönergeler yanlışlıkla eklendiğinde görünmeyen bir zarar verir: sayfa dizinde kalır ve sıralanır, ama yapay zekâ özetinde alıntılanacak metni kısıtlanmış olur. Taramamız bu yönergeleri kritik madde olarak okur. Yapay zekâ için önerilen bazı meta etiketleri (noai gibi) Google'ın bu belgesinde yer almaz; belgelenmiş kontrolleri kullanın.

Sık sorulan sorular

Yapay zekâ botlarını engellemeli miyim?

Karar sizin, ama iki kararı ayırın. Arama ve kullanıcı botlarını engellemek, o motorun yanıtlarında kaynak olarak görünmenin yolunu kapatır. Eğitim botlarını engellemek ise içeriğinizin model eğitiminde kullanılmasıyla ilgili bir tercihtir. Birini isteyip ötekini istemiyorsanız robots.txt'de ayrı gruplar yazın.

robots.txt'de izin verdim, yine de engelli görünüyor. Neden?

En sık neden sunucunun önündeki CDN ya da güvenlik duvarıdır. robots.txt'de görünmeyen bir bot kuralı isteği sayfanıza ulaşmadan durdurabilir. Taramamız aynı sayfayı bot adlarıyla isteyip yanıtları karşılaştırarak bunu gösterir; CDN panelinizdeki bot ayarlarına bakın.

Google-Extended'i engellersem yapay zekâ özetlerinden çıkar mıyım?

Google'ın belgelerine göre hayır. Google-Extended, Google Arama'ya dahil edilmeyi etkilemez; Gemini modellerinin eğitimini ve bazı ürünlerdeki kullanımı yönetir. Yapay zekâ özetlerinde gösterilen içeriği sınırlamanın belgelenmiş yolu sayfa düzeyindeki önizleme kontrolleridir.

Ölçüm isteklerinizi sunucu kayıtlarımda nasıl tanırım?

Kullanıcı ajanı dizesinde GeoMonoBot adı geçer (29 Eylül 2026'ya kadar GoPersonaBot). Yapay zekâ botu adlarını taşıyan üç ölçüm isteğimizin sonunda da GeoMonoBot-probe kimliği ve bu sayfanın adresi bulunur.

llms.txt yayımlamak botların beni okumasını sağlar mı?

Bunu gösteren kamuya açık bir kanıt bilmiyoruz. Google, yapay zekâ özellikleri için böyle bir dosyaya gerek olmadığını yazıyor. Taramamız llms.txt'yi yalnızca bilgi amaçlı okur; yokluğu puanı düşürmez.

Hazır olmak, anılmak demek değil. Motorlar sizi anıyor mu?

Ücretsiz araçlar sitenizin yapay zekâ motorlarına hazır olup olmadığını söyler. Motorların sizi gerçekten anıp anmadığını, yerinize kimi önerdiğini ve hakkınızda doğru konuşup konuşmadığını ise gerçek soruları gerçek motorlara sorarak ölçeriz. Bu ücretli ölçümdür; kapsamını birlikte çıkarırız.

Kaynaklar

Bu sayfadaki dış iddiaların dayandığı herkese açık belgeler. Taramanın nasıl çalıştığına dair cümleler, taramanın kodundan ve kontrol listesindeki gerekçelerden okunmuştur.

  1. OpenAI: tarayıcılar ve kullanıcı ajanları
  2. Anthropic: web tarayıcılarımız ve site sahiplerinin onları nasıl engelleyebileceği
  3. Perplexity: Perplexity tarayıcıları
  4. Google Search Central: Google'ın yaygın tarayıcıları (Googlebot, Google-Extended)
  5. Bing Webmaster Tools: Bing hangi tarayıcıları kullanır
  6. Common Crawl: CCBot
  7. IETF RFC 9309: Robots Exclusion Protocol
  8. Cloudflare: yapay zekâ tarayıcılarını varsayılan olarak engelleme kararı (Temmuz 2025)
  9. Google Search Central: robots meta etiketi ve önizleme kontrolleri
  10. Google Search Central: yapay zekâ özellikleri ve web siteniz