RepoTrials — private repository coding-agent evaluations
RepoTrials — private repository coding-agent evaluations
深度判断
结论：晋升为正式 source page。 RepoTrials 的耐久价值在于：它不再只问“某个 agent 在公开 SWE-bench 上几分”，而是把一个团队自己的 Git history 转成私有、可重复、隐藏 verifier 的 coding-agent 回归集。对用户的 Hermes / llm-wiki / agentic coding 实践，这比公开 leaderboard 更可执行：真正需要知道的是某个 agent 配置是否适合自己的仓库与工作流。
机制 / 一阶原理
RepoTrials 的 pipeline 是：真实修复 commit → sealed historical task → equal agent trials → hidden verifier → evidence。v0.1 扫描本地 Git history，寻找同时修改 implementation 和 Python tests 的变更；重建修复前 repo；把历史 change 拆成隐藏 test patch 和 gold patch；用 BASE / RED / GOLD 执行验证；把 verifier material 放在 agent workspace 外的本地 vault；最后生成 JSON/HTML 报告或 Harbor-compatible export。
一阶原理是把“过去真实 bug + 人类已验证修复”变成项目私有 benchmark，同时减少答案泄漏和 gold diff imitation。它评估的是行为测试是否通过，而不是补丁相似度。
与已有 wiki 概念的关系
| RepoTrials 与 Agentic-Coding、Agent-Benchmarks、SWE-Explore、Agentic coding and persistent returns to expertise 和 Harness-Engineering 相关。相比公开 benchmark，它更像 repo-local micro-benchmark；相比 [[Aftermath — execution-backed verification receipts for coding agents | Aftermath]]，它偏向评估集生成与多 agent 对比，而不是单次交付 receipt。 |
对 Hermes / llm-wiki 的启发
- 用户的真实代码仓库可以逐步积累私有 coding-agent eval，而不是只依赖公开榜单选择工具。
- llm-wiki 自身也可借鉴：把过去成功/失败的 ingest、lint、vector reindex、发布任务变成小型 regression cases，测试 cron prompt 或 skill 改动是否退化。
- 对任何从 Git history 自动挖出的任务，必须保留 human review：历史 patch 不等于任务公平、完整或无污染。
失败模式、边界条件与未解问题
RepoTrials README 明确标注 pre-release v0.1，不应作为安全或采购认证。它目前偏 Python/JUnit 风格、依赖历史 build 环境、git archive 可能遗漏 submodule/LFS/symlink，且不是 hostile-code sandbox。它适合先作为 private eval methodology 入库，而不是立即引入生产 CI。
来源与证据
- GitHub: https://github.com/PozziTiv4ik/Repo-Trials
- Stars at ingest: 0
- Last pushed at ingest: 2026-08-14T21:25:28Z
- Raw archive: repotrials-private-repository-coding-agent-eval-2026-08-15
写入记录
- 2026-08-15 09:01 CST：从 GitHub README 深度入库，新增 private repository coding-agent eval/source page，并关联 Agent Benchmarks、Agentic Coding 与 Harness Engineering。