AI Crawler Access Check
Can GPTBot, ClaudeBot and PerplexityBot reach a site? Real fetch per crawler, firewall/CDN blocks.
我该使用它吗
质量与安全性
A
基于对工具定义和协议合规性的自动分析。
上下文开销
~200token 数（工具定义）
~501 B典型响应大小
对注意力的影响极小（占 128k 上下文窗口的 0.16%）
这是每次将服务器的工具加载到模型上下文窗口时所消耗的大致 token 数。数值越高，可用于其他任务的注意力就越少。
安装
一键安装
将以下内容添加到你的 `claude_desktop_config.json` 文件中：
{
"mcpServers": {
"ai-crawler-check": {
"url": "https://check.citant.ai/mcp?src=registry"
}
}
}远程端点
https://check.citant.ai/mcp?src=registrystreamable-http它能做什么
工具清单
工具（1）
🟢 只读🟡 写入🔴 删除⚪ 未知
🟢check_ai_crawler_access(url)
Checks whether AI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended and others) can actually reach a website. Goes beyond robots.txt: fetches the site as each crawler and detects firewall/CDN blocks (Cloudflare, Akamai, Imperva), challenge pages, noindex and llms.txt. Returns a 0-100 AI Access Score, a per-crawler verdict and the top issues with fixes. Takes 15-60 seconds.
输入模式
{
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "Website domain or URL, for example example.com"
}
},
"required": [
"url"
],
"additionalProperties": false
}社区
证据
最近观测
已验证未记录版本1 个工具