MCP Selection Lab
Benchmark MCP tool selection with metadata-only routing, collision, abstention, and holdout checks.
사용해야 할까요
품질 및 안전성
도구 정의와 프로토콜 준수에 대한 자동 분석을 기반으로 합니다.
컨텍스트 비용
이는 서버의 도구가 모델의 컨텍스트에 로드될 때마다 소비되는 대략적인 토큰 수입니다. 수치가 높을수록 다른 작업에 사용할 수 있는 주의가 줄어듭니다.
설치
원클릭 설치
`claude_desktop_config.json` 파일에 다음을 추가하세요:
{
"mcpServers": {
"mcp-selection-lab": {
"url": "https://mcp-selection-lab-production.up.railway.app/mcp"
}
}
}원격 엔드포인트
https://mcp-selection-lab-production.up.railway.app/mcpstreamable-http할 수 있는 일
도구 목록
도구 (3)
🟢selection_lab_info
Get free service capabilities, limits, privacy and connection details; does not scan a target.
입력 스키마
{
"type": "object",
"properties": {},
"title": "selection_lab_infoArguments"
}출력 스키마
{
"type": "object",
"additionalProperties": true,
"title": "selection_lab_infoDictOutput"
}🟡scan_mcp_metadata(mcp_url, source, internal_test)
Create a free public report of MCP tool-description routing collisions. Reads discovery metadata (initialize/tools/list) only; never calls target business tools or spends funds. Use a public HTTP(S) URL without credentials, query or fragment. Results use at most 12 tools and 24 generated cases, not a real-model evaluation. The returned report is enriched with agent_plan candidate description-only edits and a machine-readable rerun instruction. Candidate edits are not untouched-holdout proof. Reports persist and are public by link. For an existing report use get_selection_report. Set internal_test=true for owner/CI validation so it is excluded from public scans. source is a self-reported referral bucket, not identity verification.
입력 스키마
{
"type": "object",
"properties": {
"mcp_url": {
"maxLength": 2048,
"minLength": 8,
"title": "Mcp Url",
"type": "string"
},
"source": {
"default": "other",
"maxLength": 32,
"title": "Source",
"type": "string"
},
"internal_test": {
"default": false,
"title": "Internal Test",
"type": "boolean"
}
},
"required": [
"mcp_url"
],
"title": "scan_mcp_metadataArguments"
}출력 스키마
{
"type": "object",
"additionalProperties": true,
"title": "scan_mcp_metadataDictOutput"
}🟢get_selection_report(report_id)
Read and agent-enrich an existing public scan report by id; no new target request or model call.
입력 스키마
{
"type": "object",
"properties": {
"report_id": {
"pattern": "^[0-9a-f]{16}$",
"title": "Report Id",
"type": "string"
}
},
"required": [
"report_id"
],
"title": "get_selection_reportArguments"
}출력 스키마
{
"type": "object",
"additionalProperties": true,
"title": "get_selection_reportDictOutput"
}커뮤니티
증거