OSWorld-V2：版本化 computer-use benchmark 与可复现环境合同

wiki/ai/sources/osworld-v2-release-versioned-computer-use-benchmark.md

分类：ai / sources · 更新：2026-08-22 09:08

OSWorld-V2：版本化 computer-use benchmark 与可复现环境合同

一句话结论

OSWorld-V2 的 2026-08-08 release 强调 benchmark release manifest、task/assets/web/provider image 对齐，避免 main/latest 混用导致不可复现。

深度判断

评分：relevance 5/5, novelty 3/5, durability 5/5, actionability 4/5, source-quality 5/5, depth-potential 5/5。
是否符合本轮高权重主题：是。它与 agent benchmark 可复现性、harness/runtime/control-plane、长程 computer-use 或企业内部 coding-agent benchmark 至少一个方向强相关。
晋升理由：不是单纯新闻/工具介绍；README/项目说明中包含可迁移的机制、评测合同或治理结构，能改进 Hermes / llm-wiki 的自动化实践。

为什么这对用户重要

它对长程 computer-use agent 的价值不只是一个榜单，而是把 GUI/网站/资产/VM 镜像全部版本化，回应 verified state、状态漂移和 benchmark integrity 问题。

机制 / 一阶原理

README 明确要求使用同一 release 的代码、HF task files、task assets、mocked website 和 provider VM images；迁移版本时要同步下载 task files/assets、更新 website suffix，并记录 provider image 是否变化。

与既有 wiki 概念的关系

该来源主要连接：Agent-Benchmarks, Loop-Engineering, Harness-Engineering, [[longhorizon-harness-computer-use-loop

LongHorizon-Harness]]。它把既有概念从原则推进到可执行机制：benchmark 不只看分数，harness 不只写 prompt，loop 不只自动重复，而是要有版本、证据、权限、轨迹和成本。

对 Hermes / llm-wiki / agentic workflow 的启发

Hermes 的 computer-use 或浏览器任务 benchmark 应复制这种 release contract：任务文件、网页 mock、资产、执行镜像、工具版本、评测脚本全部进 manifest；日报若无法锁定这些版本，只能报告候选，不能宣称可复现分数。

失败模式、边界条件与未解问题

版本化降低漂移但不自动解决 GUI 非确定性、外部网站变化和 verifier 盲区；若使用 team-hosted website，也要记录服务可用性和镜像哈希，否则复现仍依赖外部状态。

来源

GitHub: https://github.com/xlang-ai/OSWorld-V2
Raw archive: raw/articles/osworld-v2-release-versioned-computer-use-benchmark-2026-08-22.md

写入记录

2026-08-22 09:30 CST：AI 知识雷达根据项目 README 深度入库，记录机制、与既有概念关系、实践启发和边界条件。