ASIL：用 structured state 与 semantic actions 替代 screenshot-and-click
ASIL：用 structured state 与 semantic actions 替代 screenshot-and-click
一句话结论
| ASIL 的核心主张是：长程 software-operating agent 不应默认用截图和坐标点击工作；更稳的接口是 structured JSON observations + code-executable semantic actions，并为每个应用选择最深可行 access path。这与 Loop-Engineering 里的 verified state path、[[agent-desktop-accessibility-tree-computer-use-runtime | agent-desktop]] 的 accessibility-tree snapshot、[[mobilecontroller-ios-agent-observation-ladder | MobileController]] 的 observation ladder 形成同一趋势。 |
为什么对用户重要
用户当前关注长程 computer-use agent 的失败模式：状态漂移、GUI/CLI 切换、恢复失败、报告夸大。ASIL 提供了一个更根本的接口层答案：很多失败不是模型“不会点”，而是 screenshot-and-click 本身给了状态不完整、动作语义弱、难以恢复的控制面。对 Hermes 来说，若未来操作浏览器、Obsidian、桌面 App 或企业软件，应优先寻找 DOM/API/accessibility/native contract，而不是把视觉点击当默认方案。
机制 / 一阶原理
截图是 lossy observation：隐藏状态、数据结构、选择状态、错误提示、异步任务、文件路径和后端结果可能不在像素里。坐标点击也是 lossy action：动作意图只表现为位置，难以回放、验证、迁移和训练。ASIL 反过来把软件暴露为：
- structured state：JSON 化、可 diff、可保存、可作为 verifier 输入的状态；
- semantic actions：接近业务/软件语义的可执行动作，而不是裸坐标；
- deepest feasible access path：能用 API/DOM/native interface 就不用截图，必要时才退到视觉层。
这使 long-horizon loop 更容易 checkpoint、replay、恢复和训练，因为每一步都有可解释状态与动作，而不是一串难以语义化的图像和点击。
与已有概念的关系
- 对 Loop-Engineering：补充 verified state path 的接口设计原则。
- 对 Harness-Engineering：把工具面从 pixel action 提升到 semantic action contract。
- 对 Agent-Benchmarks：benchmark 应区分 screenshot harness 与 structured-state harness，不能把两者分数直接归因到模型。
对 Hermes / llm-wiki 的可执行启发
- GUI 自动化优先级：API/文件/DOM/accessibility tree/native contract > screenshot OCR > coordinate click。
- 对每一步 effectful action 保存 before/after structured diff；不能只保存截图或自然语言描述。
- 将 observation channel 写入 benchmark/report：state 来自 API、DOM、accessibility、pixel 还是模型 narration。
- 若只能 screenshot-and-click，报告 confidence 应降低，并增加 wait-stable、pixel diff、外部 verifier。
失败模式 / 边界
- 本轮只读取 abstract/metadata，未验证 15 个应用、任务集和运行时修复细节。
- Structured interface 需要为应用做适配，可能牺牲通用性；过度依赖深层 API 也可能偏离真实用户 UI。
- semantic action contract 若设计过强，benchmark 可能测到接口优势而不是 agent 泛化能力；因此报告必须记录 harness/interface。
深度判断
晋升为正式 source 页，因为它直接澄清 computer-use agent 的一阶失败来源，并给出可迁移的接口原则：structured observation、semantic action、deepest feasible access path、before/after diff。
写入记录
- 2026-08-29 09:01 CST：根据 arXiv abstract/metadata 新增 ASIL 分析，提炼 structured state、semantic actions 和 observation-channel 记录对 Hermes computer-use loop 的启发。