Assay：AI artifact 的可复查评估框架

Assay：AI artifact 的可复查评估框架

为什么重要

Assay 的核心问题是：registry 能告诉你 artifact 从哪里来，却不能告诉你它实际做了什么。它把评估对象扩展到 skills、MCP servers、agents、plugins，并强调读取 artifact 内容、可选 sandbox 运行、用真实模型和 judge 生成可发布报告。对 Hermes 来说，这正好补齐 External-Agent-Skills-Design-Patterns 的 admission 闭环：外部 skill / MCP 不能只靠 provenance、star、README 进入系统。

机制 / 一阶原理

Assay 将 AI artifact 当成待测软件包：先解析包内声明和内容，再在隔离环境里运行代表性任务，最后产出他人可验证的 report。它显式指出单靠 provenance、reputation、static analysis、alignment 都不足；供应链攻击、伪造社区、静态扫描绕过和 MCP tool poisoning 都要求动态行为证据。

与现有 wiki 的关系

它与 mcp-gauntlet-agentic-mcp-server-evaluator 同属 artifact/adoption eval，但 Assay 范围更广，覆盖 skill、plugin、agent；mcp-gauntlet 更聚焦 MCP server 的 agentic task success、schema/description/security/definition drift。它也连接 agentlint-runtime-guardrails：Assay 是安装前/发布前评估，AgentLint 是运行时 hook gate。

可执行启发

• Hermes 的外部工具关注名单应新增 evaluation_status：未评估、静态读取、sandbox run、CI recurring、rejected。
• 高风险 MCP/skill 不应因为“官方 registry 存在”自动进入可执行路径；至少需要一次 read + sandbox / dry-run report。
• llm-wiki 可以把 Assay 作为“外部 skills/tools 雷达”的新固定搜索关键词，而不是只搜索单个 skill repo。

失败模式 / 边界

动态评估只能覆盖选定任务，不等于证明 artifact 无害；sandbox 也可能不足以模拟真实权限和生产数据。LLM judge 的判定需要可复查证据，不能成为新的黑箱信任层。因此 Assay 更适合作为 admission gate 的一层，而不是唯一安全机制。

写入记录

• 2026-08-05 09:00 CST：新增 Assay 来源页，聚焦 AI artifact 行为评估、skill/MCP admission 和供应链边界。