EvalGlass — local-first agentic app evaluation

wiki/ai/sources/evalglass-local-first-agentic-app-evaluation.md

分类：ai / sources · 更新：2026-08-10 09:04

EvalGlass — local-first agentic app evaluation

深度判断

评分：relevance 5 / novelty 4 / durability 5 / actionability 5 / source-quality 4 / depth-potential 5。
为什么值得深挖：它把“评测纪律”从外部 eval 团队变成本地可 vendored 的工程资产，直接对应用户的 Hermes workflow 和 llm-wiki radar 自测需求。
关系页面：Agent-Benchmarks · Harness-Engineering。

核心摘要

EvalGlass 是 repo-owned、local-first 的 agentic app 评测框架/插件：coding agent 负责扫描 call sites、导入 traces、搭建 checks、接 CI；人类保留 gold、threshold、judge calibration 和 gate authority。

机制 / 一阶原理

核心是 Verdict Engine + scorecard：每个分数带 status、validity、provenance；插件只能 measure/report，不能授权 pass；gate 需要 validated gold、approved threshold、calibrated judges。

对 Hermes / llm-wiki / agentic workflow 的启发

llm-wiki radar 可先做一个 EvalGlass-like local scorecard：orient、raw hash、source page depth、wikilinks、index/log、claim receipts、reindex 是否都满足，再决定 cron 输出是否可信。

失败模式与边界条件

项目处于 pre-alpha；自动 scaffold 不能替代用户定义 gold/threshold，LLM judge calibration 若偷懒会制造“绿色但无意义”的 CI。

关联

上游来源：EvalGlass/evalglass-core。
相关概念：Agent-Benchmarks · Harness-Engineering。

写入记录

2026-08-10 09:00 CST：AI 雷达深度入库，保存 GitHub README raw，并提炼机制、实践启发、失败模式与相关概念链接。