AI Crawler Access Check
Can GPTBot, ClaudeBot and PerplexityBot reach a site? Real fetch per crawler, firewall/CDN blocks.
Sollte ich dies verwenden
Qualität und Sicherheit
Basierend auf einer automatisierten Analyse der Tool-Definitionen und der Einhaltung des Protokolls.
Kontextkosten
Dies ist die ungefähre Anzahl der Tokens, die jedes Mal verbraucht werden, wenn die Tools des Servers in den Kontext eines Modells geladen werden. Höhere Werte verringern die Aufmerksamkeit, die für andere Aufgaben verfügbar ist.
Installieren
Installation mit einem Klick
Fügen Sie dies Ihrer Datei `claude_desktop_config.json` hinzu:
{
"mcpServers": {
"ai-crawler-check": {
"url": "https://check.citant.ai/mcp?src=registry"
}
}
}Remote-Endpunkte
https://check.citant.ai/mcp?src=registrystreamable-httpWas es kann
Tool-Inventar
Tools (1)
🟢check_ai_crawler_access(url)
Checks whether AI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended and others) can actually reach a website. Goes beyond robots.txt: fetches the site as each crawler and detects firewall/CDN blocks (Cloudflare, Akamai, Imperva), challenge pages, noindex and llms.txt. Returns a 0-100 AI Access Score, a per-crawler verdict and the top issues with fixes. Takes 15-60 seconds.
Eingabe-Schema
{
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "Website domain or URL, for example example.com"
}
},
"required": [
"url"
],
"additionalProperties": false
}Community
Nachweis