agent-desktop — accessibility-tree computer-use runtime

wiki/ai/sources/agent-desktop-accessibility-tree-computer-use-runtime.md

分类：ai / sources · 更新：2026-08-25 09:07

agent-desktop — accessibility-tree computer-use runtime

一句话结论

agent-desktop 把 long-horizon [[Loop-Engineering

computer-use agent]] 的观察/行动接口从“截图 + 像素点击”改成“OS accessibility tree + 稳定 snapshot/ref + JSON trace”。它不是一个通用 benchmark，而是一个更接近 Harness-Engineering 的执行层：让 agent 在 Finder、Safari、System Settings、Xcode、Slack 等真实桌面应用里通过结构化元素引用行动，并在每次行动后重新观察。

为什么这对用户重要

用户近期重点关注 computer-use agent 的 verified state、GUI/CLI 切换、状态漂移、恢复失败和报告夸大。agent-desktop 的价值在于它把 GUI 状态变成可引用、可回放、可审计的结构化对象：snapshot_id、qualified refs、trace show / trace export、live property reads、actionable waits。这比 screenshot-only loop 更适合 Hermes 的无人任务原则：每个动作都应该留下“我看到了什么、点了哪个对象、之后状态如何变化”的证据，而不是只在最终报告里说完成。

机制 / 一阶原理

README 描述的核心 workflow 是：先用 progressive skeleton traversal 读取浅层 accessibility tree，在密集应用中只保留容器骨架和 children_count；再针对感兴趣区域 drill-down；行动时使用 snapshot 内的元素 ref；最后重新 snapshot 验证状态变化。这个机制把观察成本和状态新鲜度分开：不必把整屏像素塞进上下文，但必须在动作前后绑定同一个 snapshot namespace。

它还提供 session-scoped trace：session start 后同一 agent run 的命令会写入 JSONL trace segment，并可导出单文件 HTML。对多 agent workflow，它要求不同 agent 使用各自 snapshot 生成的 qualified refs，避免共享 session 时把“最新 snapshot”当成全局真相。Chromium/Electron 应用还可通过 launch --cdp 暴露本地 CDP endpoint，让 web contents 走浏览器协议，native menus/dialogs/windows 仍走 accessibility path。

与已有 wiki 概念的关系

- 与 [[aoi-dynacu-bench-dynamic-computer-use

AOI / DynaCU-Bench]]：AOI 强调动作间动态观察，agent-desktop 强调可行动结构化观察；两者共同说明 computer-use harness 需要 observation contract，而不是单帧截图。

与 Loop-Engineering：它提供 loop 的 observe → decide → act → observe 原语，并把 trace 变成外部状态。
与 Harness-Engineering：它把 GUI action 的权限、ref 绑定、trace、session scope 做成 runtime contract，可用于验证 membrane。

对 Hermes / llm-wiki 的可执行启发

未来如果 Hermes 做 GUI/Obsidian/浏览器长期自动化，应优先要求 structured refs + post-action re-observation；截图只能作为辅助证据。
报告里应区分“基于 live property / trace 验证”与“基于视觉猜测”；后者 confidence 降级。
对桌面自动化工具建立最低合同：snapshot id、element ref、session id、trace export、post-action verification、permission/scope 边界。

失败模式 / 边界条件

Accessibility tree 不等价于完整视觉语义；图像、Canvas、视频、布局错位仍可能需要 screenshot/vision/CDP 补充。
macOS accessibility 权限和 CDP endpoint 都是本地安全边界；127.0.0.1 endpoint 虽不暴露外网，但同用户进程可访问，需要会话结束后关闭。
README 中的 token saving、命令数量、行为语义来自项目自述，尚未独立复现；confidence 设为 medium。

写入记录

2026-08-25 09:05 CST：新增 source 页，提炼 accessibility-tree snapshot/ref/trace 对 computer-use verified state 与 Hermes GUI harness 的启发。