llm-output-quality-monitor
Cloudflare Workers MCP server: llm-output-quality-monitor
사용해야 할까요
품질 및 안전성
A
발견 사항 (1)
- LOWhallucination_scorer에서
도구 정의와 프로토콜 준수에 대한 자동 분석을 기반으로 합니다.
컨텍스트 비용
~421토큰 (도구 정의)
~756 B일반적인 응답 크기
최소한의 주의 영향 (128k 컨텍스트의 0.33%)
이는 서버의 도구가 모델의 컨텍스트에 로드될 때마다 소비되는 대략적인 토큰 수입니다. 수치가 높을수록 다른 작업에 사용할 수 있는 주의가 줄어듭니다.
설치
원클릭 설치
`claude_desktop_config.json` 파일에 다음을 추가하세요:
{
"mcpServers": {
"llm-output-quality-monitor": {
"url": "https://api.lazy-mac.com/llm-output-quality-monitor/mcp"
}
}
}원격 엔드포인트
https://api.lazy-mac.com/llm-output-quality-monitor/mcpstreamable-http할 수 있는 일
도구 목록
도구 (5)
🟢 읽기 전용🟡 쓰기🔴 삭제⚪ 알 수 없음
⚪quality_validator(response, minLength, maxLength, strictFormat)
Validate LLM response quality based on length, format, and structure
입력 스키마
{
"type": "object",
"properties": {
"response": {
"type": "string",
"description": "LLM response to validate"
},
"minLength": {
"type": "number",
"description": "Minimum response length (default: 10)"
},
"maxLength": {
"type": "number",
"description": "Maximum response length (default: 10000)"
},
"strictFormat": {
"type": "boolean",
"description": "Enforce punctuation and capitalization"
}
},
"required": [
"response"
]
}⚪drift_detector(currentResponse, previousResponse, threshold)
Detect quality drift between current and previous LLM responses
입력 스키마
{
"type": "object",
"properties": {
"currentResponse": {
"type": "string",
"description": "Current LLM response"
},
"previousResponse": {
"type": "string",
"description": "Previous LLM response"
},
"threshold": {
"type": "number",
"description": "Drift threshold (0-1, default: 0.15)"
}
},
"required": [
"currentResponse",
"previousResponse"
]
}⚪hallucination_scorer(response, context)
Pattern-based heuristic risk scoring for LLM responses (0-100). Detects linguistic signals such as contradictory assertions, unsourced claims, and uncertainty markers. Not a semantic hallucination detector.
입력 스키마
{
"type": "object",
"properties": {
"response": {
"type": "string",
"description": "LLM response to analyze"
},
"context": {
"type": "string",
"description": "Reference context for grounding"
}
},
"required": [
"response"
]
}⚪schema_enforcer(response, schema)
Validate JSON response against schema
입력 스키마
{
"type": "object",
"properties": {
"response": {
"type": "string",
"description": "JSON response to validate"
},
"schema": {
"type": "object",
"description": "JSON schema definition"
}
},
"required": [
"response",
"schema"
]
}🟢consistency_check(responses)
Check consistency across multiple LLM responses
입력 스키마
{
"type": "object",
"properties": {
"responses": {
"type": "array",
"items": {
"type": "string"
},
"description": "Array of responses to compare"
}
},
"required": [
"responses"
]
}커뮤니티
증거
최근 관측
검증됨버전이 기록되지 않음도구 5개
검증됨버전이 기록되지 않음도구 5개
검증됨버전이 기록되지 않음도구 5개