GeoMonoBot
TARAYICI BİLDİRİMİ
Sunucu kayıtlarınızda bu adı ya da eski adımız GoPersonaBot'u gördüyseniz doğru yerdesiniz. Aşağıdaki her satır koddan okunmuştur; tahmin yok.
Yapay zekâ botları sitenize girebiliyor mu?
Alan adınızı yazın. Ücretsiz hazırlık kontrolü robots.txt kurallarınızı her yapay zekâ botu için ayrı okur ve sunucunuzun bu botlara, kendi tarayıcımıza davrandığından farklı davranıp davranmadığını ölçer.
Ne göreceksiniz
- Arama ve kullanıcı botlarının her biri için robots.txt kararı: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, bingbot
- Eğitim botları (GPTBot, ClaudeBot, Google-Extended, CCBot) için ayrı, puanı düşürmeyen bir not
- Aynı sayfa yapay zekâ botu adlarıyla istendiğinde, kendi tarayıcımızın aldığından farklı bir yanıt gelip gelmediği
- Sitenizin önünde hangi CDN'in durduğu
- robots.txt içindeki Sitemap satırı ve site haritasının gerçekten XML olup olmadığı
- Sayfanın yapay zekâ özetlerinde alıntılanmasını kısıtlayan yönergeler
Tarayıcı bildirimi
Tarayıcımız hakkında
Kim olduğumuz
İsteklerimiz şu kimlikle gelir: Mozilla/5.0 (compatible; GeoMonoBot/1.0; +https://geomono.com/bot)
29 Eylül 2026'ya kadar adımız GoPersonaBot idi. Eski adla yazdığınız robots.txt kuralları geçerli kalır: kendi tarayıcımız için her kararda iki adın kurallarını da okur, daha kısıtlayıcı olanı uygularız.
GeoMono, bir markanın yapay zekâ yanıt motorlarında nasıl göründüğünü ölçer. Sitenize gönderdiğimiz istekler, o ölçümün teknik yarısıdır: sayfanızın makineler tarafından okunabilir olup olmadığı.
Bir taramada tam olarak ne istiyoruz
Bir kişi bir adres yazdığında, o adresteki TEK sayfayı alırız. Ardından aynı kökten yardımcı dosyalar: /robots.txt, /sitemap.xml, /llms.txt ve ajan tanımlayıcıları için .well-known yolları (mcp/server-card.json, mcp.json, agent-card.json, api-catalog, agent-skills/index.json, http-message-signatures-directory, oauth-authorization-server, oauth-protected-resource).
Buna ek olarak aynı sayfayı bir kez Markdown olarak isteriz (Accept: text/markdown) ve yedi kez daha, aralarında yaklaşık bir saniye bırakarak; her biri farklı bir yapay zekâ tarayıcısının kimliğiyle. Sebebi aşağıda.
Bu, tarama başına bir kez olur: sayfanız, robots.txt, llms.txt ve site haritası dosyaları için sınırlı sayıda istek. Sayfa isteği 12 saniyede, yardımcı istekler 6 saniyede zaman aşımına uğrar; 5 MB'ın ötesini okumayız.
Neden yedi isteğimiz bir yapay zekâ tarayıcısının adını taşıyor
Yedi istek OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, GPTBot ve ClaudeBot adlarını taşır, her birinin ardından da kendi kimliğimiz gelir: "GeoMonoBot-probe; +https://geomono.com/bot". Ölçtüğümüz şey, uç sunucunuzun bu tarayıcı adlarına kendi tarayıcımıza davrandığından farklı davranıp davranmadığıdır; kural bu adlara baktığı için adı taşımamız gerekir.
Bu isteklerde OpenAI, Anthropic ya da Perplexity'nin iletişim adresleri yoktur, çünkü onları gönderen biziz. Kayıtlarınızda bu satırları görürseniz kaynağı burasıdır. Tüm kullanıcı ajanı dizesini birebir eşleyen bir kural bu isteklerde çalışmaz; bu yüzden "aynı davranıyor" sonucu bir garanti değildir.
robots.txt ile ilişkimiz
robots.txt dosyanızı okuruz, ama kendi isteğimiz için izin olarak değil, hakkında rapor vermek için. Bir kişi bir adres yazdı ve o tek sayfa alındı; bu bir tarama değil, bir denetimdir.
Bunu böyle yazıyoruz çünkü "robots.txt'ye uyuyoruz" cümlesi daha iyi okunurdu ve bu istek için doğru olmazdı.
Bizi nasıl engellersiniz
robots.txt dosyanıza şunu ekleyin: User-agent: GeoMonoBot ve altına Disallow: /. Günlük hazırlık kontrolü buna tamamen uyar: ana sayfanız izinli değilse yalnızca robots.txt dosyasını okur, başka hiçbir şey almaz. Haftalık yeniden ölçüm ana sayfanızı yine okur, izin verilmeyen diğer sayfaları atlar. Birinin ücretsiz taramada yazdığı adres de tek sayfalık bir denetimdir ve alınır. Bunları da durdurmak için uç sunucunuzda kimliğimizi engelleyin.
Sitenizi iki durumda ziyaret ederiz: biri ücretsiz taramada adresinizi yazdığında ya da markanız GeoMono'da takip ediliyorsa, planlı işlerimizle (günlük hazırlık kontrolü ve haftalık yeniden ölçüm). Takip edilmeyen bir siteyi kendiliğinden ziyaret etmeyiz. Uç sunucunuzda kimliğimize göre engellemek de işe yarar.
Yapmadığımız şeyler
Özel ya da iç ağ adreslerine istek göndermeyiz; bir koruma bunu reddeder. Form doldurmayız, oturum açmayız, sayfanızdaki hiçbir şeye tıklamayız. Sunucunuzun zaten herkese açık olarak verdiği baytların ötesinde bir şey okumayız.
Kayıtlarınızda beklemediğiniz bir şey gördüyseniz yazın:
Nasıl kullanılır
Alan adınızı yazın
Kutuya sitenizin adresini yazın; ücretsiz hazırlık kontrolü açılır ve tarama hemen başlar.
Yapay zekâ erişimi başlığını açın
Sonuçta her bot için ayrı bir satır görürsünüz. Düzeltilecek satırlar, o botun robots.txt'de ya da uç sunucuda durdurulduğu yerlerdir.
Kararı bilerek verin
Arama botlarını açık tutmak ve eğitim botları için ayrı bir karar vermek mümkündür. Aşağıdaki örnek, görevleri ayıran bir robots.txt'nin nasıl göründüğünü gösterir.
Rehber
Üç tür yapay zekâ botu
Bir yapay zekâ şirketinin sitenize gönderdiği istekler üç görevden birine hizmet eder ve her görevin kendi bot adı vardır. Aşağıdaki tablo, taramamızın ayrı ayrı okuduğu botları şirketlerin kendi belgelerindeki görevlerine göre gösterir.
| Bot | Şirket | Görev | Taramadaki önemi |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Arama dizini | Kritik |
| ChatGPT-User | OpenAI | Kullanıcı isteği | Orta |
| GPTBot | OpenAI | Model eğitimi | Bilgi amaçlı |
| Claude-SearchBot | Anthropic | Arama dizini | Kritik |
| Claude-User | Anthropic | Kullanıcı isteği | Orta |
| ClaudeBot | Anthropic | Model eğitimi | Bilgi amaçlı |
| PerplexityBot | Perplexity | Arama dizini | Kritik |
| Perplexity-User | Perplexity | Kullanıcı isteği | Orta |
| Googlebot | Arama dizini | Kritik | |
| Google-Extended | Model eğitimi | Bilgi amaçlı | |
| bingbot | Microsoft | Arama dizini | Orta |
| CCBot | Common Crawl | Model eğitimi | Bilgi amaçlı |
Önem sütunu taramadaki ağırlıktır. OpenAI, Anthropic, Perplexity ve Google'ın arama botları kritiktir, çünkü o motorun yanıtlarında kaynak olarak görünmenin yolu onlardan geçer. Kullanıcı botları orta düzeydedir: bir kullanıcı sayfanızı sorduğunda o anda açılırlar ve OpenAI ile Perplexity bu isteklerde robots.txt kurallarının uygulanmayabileceğini belgeler. Eğitim botları yalnızca bilgi verir; onları engellemek bir veri politikası kararıdır.
Google-Extended ayrı bir kontrol belirtecidir. Google'ın belgelerine göre içeriğinizin Gemini modellerinin eğitiminde ve bazı ürünlerde dayanak olarak kullanılıp kullanılmayacağını yönetir; Google Arama'ya dahil edilmeyi ya da sıralamayı etkilemez.
robots.txt'de yapay zekâ botlarını ayırmak
robots.txt'de her bot kendi adıyla ele alınabilir ve bir grup birden fazla bot adı taşıyabilir. Bir botun adına özel bir grup yoksa bot, yıldızlı gruba (User-agent: *) uyar. Sık yapılan hata, eğitim botlarını durdurmak isterken arama botlarını da aynı genel kuralla kapatmaktır.
# Arama ve kullanıcı botları: izinli User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User Allow: / # Eğitim botları: bu örnekte kapalı User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: CCBot Disallow: / Sitemap: https://alanadiniz.com/sitemap.xml
Eğitim botlarını açık bırakmak da meşru bir tercihtir; önemli olan her grubun ne için orada olduğunu bilerek yazılmasıdır. Googlebot ve bingbot bu örnekte yazılmadı: bir tarayıcının adına bir grup ve yıldızlı bir grup yoksa, protokole göre ona bir kısıtlama da yoktur. Kuralı yazdıktan sonra taramayı çalıştırın: her botun robots.txt kararı ayrı bir satırda görünür.
Bir not: robots.txt bir rica protokolüdür, bir erişim denetimi değil. Protokolün kendi belgesi (RFC 9309) bu kuralların bir yetkilendirme biçimi olmadığını açıkça söyler. Kesin bir engel gerekiyorsa kuralı sunucuda ya da CDN'de yazmak gerekir.
robots.txt izin veriyor, CDN durduruyor
robots.txt izin verse bile istek sunucunuza ulaşmadan durdurulabilir. Cloudflare, Temmuz 2025'te yeni alan adları için yapay zekâ tarayıcılarını varsayılan olarak engelleyecek şekilde ayarını değiştirdiğini duyurdu. Bir güvenlik duvarı kuralı ya da bot yönetimi ayarı da aynı sonucu doğurabilir ve bunların hiçbiri robots.txt'de görünmez.
Taramamız bunu ölçmek için aynı sayfayı bir kez kendi kimliğimizle, üç kez de GPTBot, ClaudeBot ve PerplexityBot adlarını taşıyan kimliklerle ister ve yanıtları karşılaştırır. Bu istekler bizim kimliğimizi de taşır; nedeni yukarıdaki bildirimde yazıyor.
Sınırını da söyleyelim: bu, tek bir adresten ve kullanıcı ajanı düzeyinde bir kanıttır. Bazı CDN'ler botları IP adresleriyle doğrular ve gerçek bot farklı karşılanabilir. Kesin kanıt sunucu kayıtlarınızdadır.
Alıntılanmayı ne kontrol eder?
Bir sayfanın yapay zekâ özetlerinde ne kadar alıntılanabileceği robots.txt ile değil, sayfa düzeyindeki yönergelerle belirlenir. Google, arama sonucu önizlemesini yöneten kontrollerin (nosnippet, data-nosnippet, max-snippet, noindex) yapay zekâ özelliklerini de yönettiğini belgeliyor.
Bu yönergeler yanlışlıkla eklendiğinde görünmeyen bir zarar verir: sayfa dizinde kalır ve sıralanır, ama yapay zekâ özetinde alıntılanacak metni kısıtlanmış olur. Taramamız bu yönergeleri kritik madde olarak okur. Yapay zekâ için önerilen bazı meta etiketleri (noai gibi) Google'ın bu belgesinde yer almaz; belgelenmiş kontrolleri kullanın.
Sık sorulan sorular
Yapay zekâ botlarını engellemeli miyim?
Karar sizin, ama iki kararı ayırın. Arama ve kullanıcı botlarını engellemek, o motorun yanıtlarında kaynak olarak görünmenin yolunu kapatır. Eğitim botlarını engellemek ise içeriğinizin model eğitiminde kullanılmasıyla ilgili bir tercihtir. Birini isteyip ötekini istemiyorsanız robots.txt'de ayrı gruplar yazın.
robots.txt'de izin verdim, yine de engelli görünüyor. Neden?
En sık neden sunucunun önündeki CDN ya da güvenlik duvarıdır. robots.txt'de görünmeyen bir bot kuralı isteği sayfanıza ulaşmadan durdurabilir. Taramamız aynı sayfayı bot adlarıyla isteyip yanıtları karşılaştırarak bunu gösterir; CDN panelinizdeki bot ayarlarına bakın.
Google-Extended'i engellersem yapay zekâ özetlerinden çıkar mıyım?
Google'ın belgelerine göre hayır. Google-Extended, Google Arama'ya dahil edilmeyi etkilemez; Gemini modellerinin eğitimini ve bazı ürünlerdeki kullanımı yönetir. Yapay zekâ özetlerinde gösterilen içeriği sınırlamanın belgelenmiş yolu sayfa düzeyindeki önizleme kontrolleridir.
Ölçüm isteklerinizi sunucu kayıtlarımda nasıl tanırım?
Kullanıcı ajanı dizesinde GeoMonoBot adı geçer (29 Eylül 2026'ya kadar GoPersonaBot). Yapay zekâ botu adlarını taşıyan üç ölçüm isteğimizin sonunda da GeoMonoBot-probe kimliği ve bu sayfanın adresi bulunur.
llms.txt yayımlamak botların beni okumasını sağlar mı?
Bunu gösteren kamuya açık bir kanıt bilmiyoruz. Google, yapay zekâ özellikleri için böyle bir dosyaya gerek olmadığını yazıyor. Taramamız llms.txt'yi yalnızca bilgi amaçlı okur; yokluğu puanı düşürmez.
Hazır olmak, anılmak demek değil. Motorlar sizi anıyor mu?
Ücretsiz araçlar sitenizin yapay zekâ motorlarına hazır olup olmadığını söyler. Motorların sizi gerçekten anıp anmadığını, yerinize kimi önerdiğini ve hakkınızda doğru konuşup konuşmadığını ise gerçek soruları gerçek motorlara sorarak ölçeriz. Bu ücretli ölçümdür; kapsamını birlikte çıkarırız.
Kaynaklar
Bu sayfadaki dış iddiaların dayandığı herkese açık belgeler. Taramanın nasıl çalıştığına dair cümleler, taramanın kodundan ve kontrol listesindeki gerekçelerden okunmuştur.
- OpenAI: tarayıcılar ve kullanıcı ajanları
- Anthropic: web tarayıcılarımız ve site sahiplerinin onları nasıl engelleyebileceği
- Perplexity: Perplexity tarayıcıları
- Google Search Central: Google'ın yaygın tarayıcıları (Googlebot, Google-Extended)
- Bing Webmaster Tools: Bing hangi tarayıcıları kullanır
- Common Crawl: CCBot
- IETF RFC 9309: Robots Exclusion Protocol
- Cloudflare: yapay zekâ tarayıcılarını varsayılan olarak engelleme kararı (Temmuz 2025)
- Google Search Central: robots meta etiketi ve önizleme kontrolleri
- Google Search Central: yapay zekâ özellikleri ve web siteniz