AI Crawler Access Check
Can GPTBot, ClaudeBot and PerplexityBot reach a site? Real fetch per crawler, firewall/CDN blocks.
¿Debería usar esto?
Calidad y seguridad
Basado en el análisis automatizado de las definiciones de herramientas y el cumplimiento del protocolo.
Costo de contexto
Este es el número aproximado de tokens que se consumen cada vez que las herramientas del servidor se cargan en el contexto de un modelo. Los recuentos más altos reducen la atención disponible para otras tareas.
Instalar
Instalación con un clic
Agrega esto a tu archivo `claude_desktop_config.json`:
{
"mcpServers": {
"ai-crawler-check": {
"url": "https://check.citant.ai/mcp?src=registry"
}
}
}Puntos de conexión remotos
https://check.citant.ai/mcp?src=registrystreamable-httpQué puede hacer
Inventario de herramientas
Herramientas (1)
🟢check_ai_crawler_access(url)
Checks whether AI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended and others) can actually reach a website. Goes beyond robots.txt: fetches the site as each crawler and detects firewall/CDN blocks (Cloudflare, Akamai, Imperva), challenge pages, noindex and llms.txt. Returns a 0-100 AI Access Score, a per-crawler verdict and the top issues with fixes. Takes 15-60 seconds.
Esquema de entrada
{
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "Website domain or URL, for example example.com"
}
},
"required": [
"url"
],
"additionalProperties": false
}Comunidad
Evidencia