Open-Weight Agent Reliability Lab

wiki/ai/sources/open-weight-agent-reliability-lab.md

分类：ai / sources · 更新：2026-08-10 09:04

Open-Weight Agent Reliability Lab

深度判断

评分：relevance 5 / novelty 4 / durability 5 / actionability 4 / source-quality 4 / depth-potential 5。
为什么值得深挖：它提醒 agent 评测不要只靠 LLM judge 或 happy-path tool calls，而要测授权、故障恢复、证据引用、重复提交和最终状态。
关系页面：Agent-Benchmarks · Harness-Engineering。

核心摘要

Open-Weight Agent Reliability Lab 用确定性 MLOps incident-response simulator 评估本地开源 tool-calling agent：typed tools、policy-gated writes、exact outcome grading、fault injection、state hashes 和 SHA-bound study reports。

机制 / 一阶原理

模型只能提出一个 typed tool call；simulator 验证参数、授权、revision、fault phase、atomic transition 与 invariants 后返回 observation；oracle 评分真实状态与 report semantics，不看轨迹是否像参考脚本。

对 Hermes / llm-wiki / agentic workflow 的启发

Hermes 的高风险自动化可以用类似“确定性世界 + typed boundary + exact oracle”做小型回归：例如 wiki ingest 是否在失败时不写薄页面、是否不重复提交、是否有 raw/hash/index/log 证据。

失败模式与边界条件

模拟世界的安全结论不自动迁移到生产；本地模型/GPU实验结果受任务分布限制，需要避免把 bounded simulator 结果当通用 agent safety。

关联

上游来源：RenataLi/open-weight-agent-reliability-lab。
相关概念：Agent-Benchmarks · Harness-Engineering。

写入记录

2026-08-10 09:00 CST：AI 雷达深度入库，保存 GitHub README raw，并提炼机制、实践启发、失败模式与相关概念链接。