Menú
código abierto · corre en esta pestaña, no sube nada
Los bots de IA que leen tu sitio. Las visitas que la IA te devuelve.
Pega un dominio para ver a cuáles de los 28 rastreadores de IA deja pasar su robots.txt. Suelta un log de acceso para contar las visitas que te mandaron ChatGPT, Perplexity y otros 10 chats de IA. Las dos herramientas corren en tu navegador.
o pega líneas
Tu archivo nunca sale de tu navegador.
- rastreadores de IA identificados por nombre
- 28
- empresas detrás de ellos
- 13
- chats de IA que detecta como origen de visitas
- 12
- bytes de tus datos subidos
- 0
Rastreadores deOpenAIAnthropicPerplexityGoogleMicrosoftCommon CrawlByteDanceAmazonAppleMetaDuckDuckGoYou.comMistral AI
Bloquear GPTBot y otros bots de IA en robots.txt
Tráfico desde ChatGPT en tus logs
rastrolog no reconoce el formato de este log. Esta es la primera línea:
El archivo termina antes de tiempo (un gzip cortado o dañado). Estos números cubren todas las líneas completas hasta ese punto.
Este log no tiene rastreadores de IA ni visitas desde chats de IA.
No cuentan como tráfico de IA. Las AI Overviews de Google mandan un referer simple de google.com, así que se ven como búsqueda.
Sigue contando después de cerrar esta pestaña
Tus logs de servidor · Python 3.10+
El mismo reporte en tu terminal, más middleware para FastAPI y Django.
pip install rastrolograstrolog parse access.logTus páginas · una etiqueta script, menos de 2 KB
Envía un evento ai_referral a GA4, Plausible, PostHog, Fathom, Umami, Matomo o Tag Manager.
<script src="https://cdn.jsdelivr.net/npm/rastrolog@0.2.1/dist/snippet.min.js" integrity="sha384-f1WmE4FFMG3T7OCN/djpfKWMNHW3DxGQ3dICa4ZZlIlqLgLnzr4Yzfs0SFK0Wzdm" crossorigin="anonymous" defer></script>Qué detecta
28 tokens de rastreadores y 12 productos de IA. 27 de los tokens vienen de la documentación de cada empresa, y la lista es abierta: signals.json.
| Empresa | Tokens de rastreadores |
|---|---|
| OpenAI | GPTBot · ChatGPT-User · OAI-SearchBot |
| Anthropic | ClaudeBot · Claude-User · Claude-SearchBot |
| Perplexity | PerplexityBot · Perplexity-User |
| Google-Extended · Googlebot · Google-Agent · Google-GeminiNotebook | |
| Microsoft | bingbot |
| Common Crawl | CCBot |
| ByteDance | Bytespider (fuente externa) |
| Amazon | Amazonbot · Amzn-SearchBot · Amzn-User |
| Apple | Applebot · Applebot-Extended |
| Meta | meta-externalagent · meta-externalfetcher · meta-webindexer |
| DuckDuckGo | DuckAssistBot |
| You.com | YouBot |
| Mistral AI | MistralAI-User · MistralAI-Index · MistralAI-Training |
Chats de IA como origen
ChatGPT · Claude · Perplexity · Gemini · NotebookLM · Copilot · You.com · Le Chat · Duck.ai · Meta AI · Grok · DeepSeek
$ avisos de rastrolog
Un correo cuando una empresa de IA lance un rastreador nuevo
Cuando una empresa agrega o renombra un rastreador, recibes su nombre, qué hace con tus páginas y las líneas exactas de robots.txt para bloquearlo. Eso es todo el boletín.
Mistral AI lo usa para recolectar páginas y entrenar sus modelos. Documentación de Mistral AI
Para bloquearlo, agrega estas líneas a robots.txt:
User-agent: MistralAI-Training
Disallow: /