llm-wiki 自我优化 2026-08-29
llm-wiki 自我优化 2026-08-29
今天从内容更新中学到什么
今天的高价值来源集中在五个可迁移机制：
| 1. [[agentflow-flow-centric-agent-security-policy | AgentFlow]]：agent 安全不应只在单步工具调用处判断，而要追踪 source/tool/sink/delegation 之间的数据与授权流。 |
| 2. [[beyond-pass-k-agentic-code-reliability-security | Beyond Pass@k]]：benchmark 统计语义要严谨；测试数量不能替代独立 rollout，可靠性 claim 需要 strict task resolution 与重复尝试。 |
| 3. [[swe-refactor-bench-whole-repository-migration | SWE Refactor Bench]]：长程迁移任务有 Blindness shortcut，必须先验证迁移目标真的发生，再验证行为正确。 |
| 4. [[asil-structured-state-semantic-actions | ASIL]]：长程 GUI/software loop 应优先 structured state 与 semantic actions，而不是默认 screenshot-and-click。 |
| 5. [[adepts-bench-trustworthy-computer-use-agents | ADeptS-Bench]]：computer-use benchmark 需要同时测 task success、attack success、ambiguity clarification 和 safety-tool ablation。 |
已执行的低风险优化
- 本轮没有安装外部工具，也没有扩大 cron 权限；所有外部内容先作为 source 入库，保持 medium confidence。
- 在 Agent-Benchmarks 中补充了 attempt independence、anti-shortcut audit、GUI trustworthiness 和 security-adjusted reliability 的 benchmark 合同。
- 在 Harness-Engineering 中补充了信息流合同、统计合同、反 shortcut 合同、structured observation 与 clarification/HOLD 行为。
- 在 MCP-Gateway-Runtime 中补充 data-label / authority-flow / release-rule 视角，避免只把 MCP gateway 理解成 server 聚合器。
- 在 Loop-Engineering 中补充 GUI/software loop 的 structured state / semantic action 优先级。
对后续雷达的调整建议
- 明日/后续 radar 可增加 query 方向：
agent information flow control,LLM agent policy language,coding agent reliability@k,whole repository migration benchmark,structured GUI agent interface。 - 候选评分表应新增 5 个字段：
information_flow_model、attempt_independence、anti_shortcut_audit、observation_channel、clarification_or_HOLD_behavior。 - 对只报告 leaderboard 分数、但不说明 rollout 次数、harness 版本、隐藏材料边界、状态观察通道的材料，应默认降权或 raw-only。
未解问题 / 风险
- 今天多数 promoted 来源来自 arXiv abstract/metadata，未完整解析 PDF、代码和数据；具体数值保持 medium confidence。
- 连续多日新增 source 页较多，后续应考虑把相邻 benchmark/control-plane 页面汇总成 comparison，避免 source 页面膨胀。
- 如果未来要把这些规则固化到 cron prompt 或脚本，应先做小型 frozen suite，避免根据单日发现过拟合规则。
写入记录
- 2026-08-29 09:01 CST：新增当日 llm-wiki 自我优化文章，总结信息流、可靠性统计、反 shortcut、structured state 和 GUI trustworthiness 对知识库雷达与 Hermes workflow 的启发。