AssetOpsBench — industrial agent benchmark over MCP
AssetOpsBench — industrial agent benchmark over MCP
核心判断
AssetOpsBench 值得入库，因为它代表 agent benchmark 从通用 coding / browser tasks 向垂直行业、多 agent、MCP-native、真实运维场景扩展。README 强调工业资产运维与维护，包含 460+ scenarios、specialist agents、multi-agent orchestration blueprints、live competition 与多篇论文/教程。这对 Agent-Benchmarks 很重要：未来 agent 能力评估不应只看 SWE-bench 式代码修复，也要看领域知识、工具协议、协作编排和真实操作约束。
为什么对用户重要
用户关注 Hermes / llm-wiki / agentic workflows，而不是单一模型榜单。AssetOpsBench 的启发在于：当 agent 进入真实组织工作流，评测对象会变成“模型 + 工具协议 + 领域任务 + 多 agent 拓扑 + 安全/隐私约束”的组合系统。llm-wiki 如果未来沉淀企业工程、运维、财务、HR 等跨域知识，也需要类似的分类意识：不同领域的 agent workflow 应有不同任务集、失败模式和验收标准，而不是共用一个泛化“智能体是否完成”的指标。
机制 / 一阶原理
AssetOpsBench 的机制可理解为四层：
- Domain scenario set：把工业资产运维中的异常检测、工单、维护、监控、知识问答等任务整理成大量可评测 scenario。
- Specialist agents：不同专家 agent 负责 IoT、FMSR、TSFM、Work Order 等子领域，强调能力分工而非单 agent 全能。
- MCP / orchestration layer：通过 MCP 和 orchestration blueprint 让 agent 与工具、数据和其他 agent 交互。
- Live / privacy-aware evaluation：README 提到 live competition 与 privacy-aware online evaluation，说明 benchmark 正在从离线题库走向持续、受控、真实系统近似。
第一性原理是：垂直领域 agent 的难点往往不是“会不会生成答案”，而是能否在受限协议下找到正确数据、选择正确专家、遵守操作边界，并让结果被领域 verifier 接受。
与现有 wiki 的关系
- 对 Agent-Benchmarks：补充 domain-specific、MCP-native、multi-agent benchmark 方向。
- 对 Harness-Engineering：说明 benchmark 本身也是 harness，需要 scenario、tool protocol、orchestrator、verifier 与 privacy boundary。
- 对 Loop-Engineering：工业运维天然是持续 loop：监控 → 诊断 → 工单 → 修复 → 复盘。
- 对 Context-Engineering：领域 agent 需要结构化 operational context，而不是通用网页检索。
对 Hermes / llm-wiki 的可执行启发
- 每日 AI radar 不应只追 coding-agent repo；应定期扫描 domain agent benchmark、MCP evaluation、multi-agent ops 等方向。
- llm-wiki 的 benchmark 概念页可增加“domain realism”维度：任务是否来自真实行业流程、是否有领域 verifier、是否记录隐私/安全边界。
- 如果未来为用户构建企业级 agent workflow，应先定义垂直场景和验收指标，再选择模型或 harness。
- 对知识库维护，可借鉴 specialist-agent 思路：discovery、raw archive、concept synthesis、link/index QA、vector reindex 是不同能力模块，应该分别有检查项。
失败模式 / 边界条件
- 垂直 benchmark 容易过拟合某行业术语和数据接口，跨行业迁移有限。
- README 的 venue / accepted claims 需要后续用论文和官方页面复核；本页先标记
confidence: medium。 - 多 agent blueprint 可能提高真实感，也可能引入协调噪音；评测应报告单 agent baseline 与多 agent overhead。
- Live evaluation 需要隐私与安全边界；不能简单把生产运维数据暴露给无人 agent。
写入记录
- 2026-08-04 09:00 CST：从 GitHub README 深度入库 AssetOpsBench，定位为工业运维领域的 MCP-native multi-agent benchmark。