AgentTrust：工具调用的实时安全拦截与 TrustReport

AgentTrust：工具调用的实时安全拦截与 TrustReport

一句话结论

AgentTrust 把 agent safety 从“任务结束后评估有没有出事”推进到 action-time interception：每个 shell/file/network/database/tool action 执行前，先经过 ShellNormalizer、ActionAnalyzer、PolicyEngine、RiskChain、SafeFix 和可选 LLM-as-Judge，产出结构化 TrustReport，verdict 为 allow / warn / block / review。它的工程价值不是替代 sandbox，而是在 sandbox 与工具之间增加一层确定性、可审计、默认不 fail-open 的安全地板。^[raw/articles/agenttrust-runtime-safety-interception-2026-09-09.md]

本轮读取了 arXiv 2605.04785 与 GitHub README。论文报告 v0.5.0 production-only ruleset 为 170 条 YAML 规则；README 进一步写到 v0.6 已有 42 risk patterns、174 policy rules、37 SafeFix rules、7 chain detectors、410 unit tests、约 0.3ms median latency，并增加 self-learning dual store。由于 repo 与论文版本存在演进差异、且本轮未本地运行，保持 confidence: medium。

命中的知识点轴

• sandbox-security：针对 credential read、pipe-to-shell、rm -rf、DROP DATABASE、force push、exfiltration 等高爆炸半径动作做前置拦截。
• harness-runtime：把安全策略做成工具调用 membrane，而不是只写在 prompt 或事后日志里。
• MCP Gateway / federation control plane：AgentTrust 暴露 MCP server，说明安全拦截可以成为 MCP/gateway 数据面的统一 policy layer。
• benchmark-evaluation：300 curated scenarios + 630 independent adversarial scenarios，评估 verdict accuracy、risk accuracy、latency、obfuscation coverage。
• context management：RiskChain 与 cache-aware LLM judge 把 session history / block hash 变成可审计安全上下文。

为什么对用户重要

Hermes 经常代表用户执行文件写入、命令行、网页抓取、发布、代码修改和远程排查。仅靠“请小心”或最终报告不足以防止高风险动作；仅靠容器也挡不住被允许的 HTTP egress、git push、数据库写入或凭据泄露。AgentTrust 给出一个可迁移模式：在每个 effectful action 前产生 action receipt，明确风险、规则、建议替代动作、是否需要人工 review，以及若拦截器自身失败则进入 review 而不是放行。

机制 / 一阶原理

1. Action-time safety surface 不能靠 post-hoc benchmark 覆盖

工具调用是外部副作用：错误的 rm、泄露 API key、对生产库执行 destructive query，都无法通过“下一 token 重新采样”撤销。AgentTrust 的基本原则是：危险动作的语义要在执行前被解析、归一、判定；安全报告要成为 runtime contract，而不是任务结束后的总结。

2. Shell normalizer 解决“规则容易被混淆绕过”的第一层问题

普通 regex guardrail 会被变量展开、hex/octal escape、alias、command substitution、ANSI-C quoting、相邻引号拼接等方式绕过。AgentTrust 先做 shell deobfuscation，再用 action analyzer 抽取风险特征。这对 Hermes 的启发是：如果未来在 terminal/tool 层加安全门，输入归一化是第一步，不能直接对原始字符串做脆弱匹配。

3. RiskChain 把“单步无害、序列危险”变成可检测对象

读 .env、base64 编码、curl -X POST 单独看都可能合理；合起来就是 exfiltration chain。AgentTrust 用 session tracker 检测多步攻击链，补上静态 allow/block 的盲点。对 Context-Engineering 来说，安全上下文不是完整聊天记录，而是带时间顺序的 action ledger。

4. SafeFix 比单纯拒绝更适合生产 agent

AgentTrust 不只 block，还为危险动作提供 safer alternative，例如权限从 777 调到 755、凭据不出现在 URL、敏感文件加入 .gitignore。这和 Harness-Engineering 的目标一致：控制 agent 的力，而不是让 agent 完全不能行动。

5. LLM judge 必须是 review tail，而不是安全基线

论文/README 都把 LLM-as-Judge 放在 ambiguous tail，并强调 fail-safe invariants：judge 不可达、interceptor exception 等情况进入 review。对 Hermes 来说，安全最低层应是确定性规则与策略，不应依赖另一个模型临场判断来放行高风险动作。

和已有 wiki 概念的关系

• 对 Agent-Benchmarks：安全评测不应只看“有没有拒绝危险请求”，还要测 obfuscation、multi-step chain、latency、safe-fix 可用性和 fail-open 行为。

对 Hermes / llm-wiki 的可执行启发

1. 给高风险工具调用增加 TrustReport 字段。 至少包括 normalized_action、risk_category、matched_rule、verdict、safe_fix、requires_review、session_chain_id、fail_safe_reason。
2. 无人 cron 不应拥有裸写/裸发/裸删能力。 高风险动作进入 review 或强 receipt；如果网关/拦截器异常，默认 review/block，不应继续执行。
3. 把 “safe alternative” 纳入报告。 用户看到的不只是“我拒绝了”，还应看到可替代低风险命令或流程。
4. LLM judge 只处理 ambiguous tail。 确定性危险动作（删除、泄露、force push、生产写入）应由规则/策略直接拦截。

失败模式 / 边界条件

• 规则库会老化；新工具、新 shell 特性、新 attack chain 需要持续维护。
• README v0.6 与论文 v0.5.0 指标不完全一致，说明数字应带版本戳引用。
• 630 adversarial scenarios 在论文中是 patched ruleset 下评估，不应宣传成 zero-shot held-out 泛化。
• AGPL-3.0 对公司内部集成有合规含义；若用于商业闭源产品需确认许可证或商业授权。
• 安全拦截不能替代 OS sandbox、network allowlist、credential broker；它只是 action semantic layer。

候选评分

深度判断

晋升为正式 source page，因为它提供的是可复用机制，而不是安全新闻：action normalization、policy verdict、multi-step chain、safe fix、LLM judge tail、fail-safe invariants、MCP integration 和 benchmark 指标共同构成“工具调用安全膜”。这能直接指导 Hermes 的高风险工具治理。

写入记录

• 2026-09-09 09:01 CST：新增 AgentTrust 来源页，沉淀 action-time interception、TrustReport、ShellNormalizer、RiskChain、SafeFix、fail-safe review 与 Hermes 高风险工具安全膜启发。