reliable-cua：Computer-Use Agent Benchmark 的统计可靠性层

wiki/ai/sources/reliable-cua-statistical-computer-use-eval.md

分类：ai / sources · 更新：2026-08-26 09:12

reliable-cua：Computer-Use Agent Benchmark 的统计可靠性层

一句话结论

[[reliable-cua-statistical-computer-use-eval

reliable-cua]] 值得入库的点不是“又一个 computer-use benchmark”，而是把 Agent-Benchmarks 中长期被忽略的统计问题前置：CUA 分数来自 app → scenario → configuration → rollout 的嵌套结构，不能简单把所有 run 展平成独立样本后报告一个总分。

为什么对用户重要

用户当前关注长程 computer-use agent、benchmark integrity 和 claim-level receipts。[[WeaveBench-hybrid-gui-cli-agent-benchmark

WeaveBench]]、[[OSWorld-V2-release-versioned-computer-use-benchmark

OSWorld-V2]]、[[cua-computer-use-drivers-sandboxes-benchmarks

Cua]] 已经强调环境、轨迹和版本化；reliable-cua 补上另一层：即使 verifier 与环境都正确，统计汇总方式仍可能让结论不可信。

对 Hermes / llm-wiki 来说，这直接影响本地评测设计：每日 radar、coding-agent benchmark、GUI agent benchmark 不能只报“成功 N/M”。至少要区分任务族、配置轴、重复次数，并给出置信区间或稳定性说明，否则很容易把单次幸运 run 当成可靠能力。

机制 / 一阶原理

CUA benchmark 的样本不是同分布独立抽样：同一 app 下的多个 scenario 共享 UI 模式、领域知识和失败模式；同一 scenario 下的不同 profile/theme/UI state 是配置扰动；同一配置下的多次 rollout 才是执行随机性。若把这些层级展平成 run-level 表格，方差会被低估，排行榜差异会显得比真实更确定。

reliable-cua 的 README 提供的机制包括：

Wilson score intervals：用于小样本配置成功率，避免普通正态近似过度自信。
Fixed-app hierarchical bootstrap：把 app 当作固定总体，对 scenario、configuration 和 rollout 分层重采样。
Variability decomposition：用 MAD、ATE、P(degradation) 等指标估计 profile/theme/UI state 这类环境轴造成的退化。
Performance profiles with bootstrap CIs：不只给平均分，也看不同阈值下的性能分布。

这让 benchmark 报告从“一个点估计”变成“点估计 + 不确定性 + 哪些环境轴导致不稳定”。

与既有 wiki 概念的关系

与 Agent-Benchmarks：补充“统计可信度”维度，和 hidden verifier、污染控制、轨迹、成本、重复次数并列。
与 Loop-Engineering：长期 loop 的效果评估也需要层级化，不应把每天的 run 当成可交换样本。
与 Harness-Engineering：harness 设计应记录 app/scenario/config/rollout 层级，否则后续无法正确 bootstrap。

- 与 [[agent-desktop-accessibility-tree-computer-use-runtime

agent-desktop]] / [[aoi-dynacu-bench-dynamic-computer-use

AOI / DynaCU-Bench]]：前者提供 structured observation，后者提供动态观察；reliable-cua 提供对这些观察结果做可信汇总的方法。

可执行启发

llm-wiki 的 radar micro-benchmark 应新增 task_family、source_channel、fetch_config、promotion_decision、verification_result 等字段，避免只累计每日总成功率。
coding-agent benchmark 至少重复 3 次，并把模型随机性、harness 设置、仓库任务族、隐藏 verifier 类型分开记录。
computer-use 评测应把 app 固定，分 scenario/config/rollout 聚合；否则“某模型整体更强”的 claim 可能只是抽到了更容易的 app 或 UI state。
最终报告中的提升 claim 应带置信区间或“样本太少，仅作 smoke signal”的标注。

失败模式 / 边界条件

统计层不能替代 verifier：如果成功标签本身错了，bootstrap 只会精确地汇总错误。
README 级材料足以说明机制，但仓库星标很低、论文/外部复现未在本轮验证，因此 confidence 保持 medium。
层级 bootstrap 会提高报告质量，但也要求 harness 先收集结构化元数据；没有元数据时无法事后补救。

写入记录

2026-08-26 09:01 CST：根据 facebookresearch/reliable-cua README 新增 source 页，提炼 CUA benchmark 的层级统计、置信区间和对 Hermes 评测设计的启发。