外观
前沿进展
经典论文讲的是 2022–2024 年:harness 的组件被逐个发明——循环、工具、记忆、规划、接口。2025 年之后,研究问题换了一个方向:组件都在了,但它们能在几小时、几天的任务里可靠地协同工作吗? 失败分析取代了能力演示,上下文从提示技巧升格为系统学科,harness 本身甚至成了被优化和被比较的对象。
本页按主题梳理九条主线,每条给出代表性工作(问题、方法一句话、与 harness 设计的关系)和本站的独立判断。所有 arXiv 编号与发布日期均已核实。
text
2025.02 A-MEM ──────────────── 记忆结构化:笔记 + 链接 + 演化
2025.03 METR 长任务测量 ────── "能撑多久"取代"答得多对"成为度量衡
2025.03 MAST ───────────────── 多智能体失败模式分类学(冷水第一盆)
2025.04 SICA ───────────────── agent 开始改自己的代码
2025.05 多轮迷失 ───────────── 多轮对话平均掉分 39%
2025.05 DGM ────────────────── 开放式进化:SWE-bench 20% → 50%
2025.06 Anthropic 多智能体系统 ─ 工业界承认多 agent 的成本与边界
2025.07 Context Rot / Manus ── 上下文工程成为显学
2025.09 递减回报的错觉 ──────── 长程执行的失败在执行,不在推理
2025.10 ACE ────────────────── 上下文即 playbook,自我进化
2025.12 RLM / Confucius CCA ── 上下文即环境;scaffold 价值被量化
2026.03 Anthropic 长任务 harness ── 生成—评估结构:主观质量变得可评分
2026.04 Anthropic Managed Agents ── meta-harness:脑、手、会话解耦
2026.05 Harness 披露檄文 ───── 不披露 harness 的分数不可比较
2026.08 Agent Lightning / LEGO-RL ── 训练住进了骨架(Harness-Native RL)
2026.09 Harness-Zero / RSR ─── harness 增益蒸馏回权重
2026.09 Harness 自进化方法群 ── HarnessDev / VALVE / T2A:从想法到方法学
2026.09 Anthropic 度量报告 ─── 3 万并发 agent 的双层监督
2026.09 Manus 2.0 / Dots ───── 常驻 agent 与"agent 身份"产品化
2026.10 Claude 5.5 / Scion ─── 模型行为反噬 harness;基础设施为 agent 重写长时程 Agent:从"答得对"到"撑得久"
这一组工作共同把 agent 能力的度量衡从"单题成功率"换成了"时间跨度",并解释了长任务为什么难。
METR 的长任务测量(Measuring AI Ability to Complete Long Tasks,arXiv:2503.14499,2025 年 3 月)。问题:模型的 agent 能力到底怎么度量?方法:不看分数,看"50% 任务完成时间跨度"——模型能以 50% 可靠性独立完成的人类任务时长。他们发现这个时长从 2019 年起大约每 7 个月翻一倍,2025 年初的前沿模型约在 1 小时量级。对 harness 的意义:这是一个 harness-sensitive 指标——同一模型在不同的上下文管理、错误恢复设计下,"能撑住的任务时长"完全不同,时间跨度是比单步准确率更诚实的 harness 试金石。
《递减回报的错觉》(The Illusion of Diminishing Returns,arXiv:2509.09677,2025 年 9 月)。问题:短任务基准上的提升趋缓,是否意味着 scaling 到头了?方法:把"执行任务"与"推理任务"分离——直接给模型提供解题所需的知识和计划,只测它执行长指令序列的能力。三个发现对 harness 设计至关重要:
- 单步准确率的微小提升会复合成可完成任务长度的指数级增长——短基准上的"边际收益递减"是测量错觉;
- 长程失败主要来自执行错误而非推理能力不足;
- 存在 self-conditioning 效应:上下文里出现自己前几轮的错误,会显著提高后续出错的概率,且单纯扩大模型规模不能消除它,但 thinking(长链推理)能显著缓解。
text
单步可靠性的复合效应(为什么 1% 的进步很大)
单步成功率 95% × 连续 100 步 ≈ 0.6% 整体成功率
单步成功率 99.9% × 连续 1000 步 ≈ 36.8% 整体成功率
→ 长任务下,harness 的每一次错误拦截、每一次轨迹清理
都在指数曲线上做功self-conditioning 对上下文工程的直接推论
如果"上下文里留有模型自己的错误"本身就有毒,那么 harness 在压缩、重写、总结轨迹时就不该忠实地保留失败尝试的全过程——上下文工程中的轨迹清理(如折叠冗余错误输出、用结构化摘要替换原始报错)获得了来自测量研究的理论支持。
Vending-Bench(arXiv:2502.15840,2025 年 2 月)则从反面刻画了长时程的失效形态:让模型长期经营一台虚拟自动售货机,测的是长期连贯性。即使最强的模型也会在长时间运行后陷入"妄想螺旋"——坚持某个错误信念(比如以为货没送到)并围绕它做出一连串越来越荒唐的决策。Anthropic 后来真的让 Claude 经营了一台实体售货机(Project Vend,2025 年 6 月),观察到了同类的长程失稳。对 harness 的意义很直白:长任务需要外置的校验与状态回写机制,指望模型在几百轮之后仍然"自己想明白"是不可靠的。
把三篇合起来,长时程研究给 harness 设计开出的处方是一致的:agent 循环里要有停止与预算控制,上下文里要持续清理"有毒"的错误轨迹,关键状态要外化到模型无法篡改的地方,长任务的风险操作要过权限闸口。没有一条是靠"等更强的模型"解决的。
2026 年 9 月,两篇新工作把"撑得久"从测量问题推进为系统原语问题。
《Recoverability as a System Primitive for Long-Horizon AI Agents》(arXiv:2609.13672,2026 年 9 月)指出一个被忽视的区分:"存了状态"不等于"该从这里续"——被中断的 agent 盲目续跑可能带病传播。方法:把可恢复性做成系统原语,显式选择受支持的恢复点与恢复动作,用绑定证据、执行与独立检查的行为契约来约束。其实验证明"字节级恢复正确 + 任务成功"可以同时掩盖非法恢复点——恢复决策本身需要独立的评测维度。这是 8 月 AgentRewind 的直接理论化。
《An Architecture for Long-Horizon Agents: Levels, Ticks and Cascaded Intelligence》(arXiv:2609.19519,2026 年 9 月)则给出一份单案例但信息量很高的架构报告:跨天任务超出任何上下文窗口与进程寿命,解法是三件套——按时间尺度分层的有界摘要文件(levels)、时钟 tick 作为自治动作单元、失败评审后才升级到更强模型的级联智能(cascaded intelligence)。作者在 10 天战役中以每天仅一次人工介入复现了一个已发表的 RL 结果。证据强度有限(N=1),但"长时程能力在 harness 而非模型"的主张与 Anthropic durable session 的工业实践互相印证。
上下文工程成为一门学科
2025 年最重要的概念变化,是 "context engineering" 从少数人的口头禅变成了行业术语。两篇工业界长文定义了它:Manus 团队的《Context Engineering for AI Agents: Lessons from Building Manus》(2025 年 7 月)和 Anthropic 的《Effective Context Engineering for AI Agents》(2025 年 9 月)。前者贡献了今天被广泛引用的工程手段:保持 KV-cache 前缀稳定、用 todo.md 的反复重写把目标"背诵"进近期注意力(recitation)、把文件系统当作无限大的外部上下文;后者系统化了"最小充分上下文"的原则。详见上下文工程。
学术界同期提供了两条关键证据。
Context Rot(Chroma Research 技术报告,2025 年 7 月,research.trychroma.com/context-rot)。问题:上下文窗口越来越大,性能真的跟着涨吗?方法:对 18 个主流模型做受控测量,改变输入长度而控制任务难度。结论:随着输入 token 增加,模型性能单调下降,即使任务本身不变难——"100 万 token 窗口"的宣传数字与"有效上下文"之间存在系统性差距。对 harness 的意义:往上下文里多塞东西不是免费的,策展(curation)是 harness 不可推卸的职责。
《LLMs Get Lost in Multi-Turn Conversation》(arXiv:2505.06120,Microsoft Research / Salesforce,2025 年 5 月)。问题:模型在多轮对话里的表现和单轮一样好吗?方法:20 万次以上的模拟对话,对比单轮全信息与多轮逐步披露。结论:所有受测模型在多轮设定下平均掉分 39%,且分解显示主要是可靠性崩塌(方差变大)而非能力下降——模型在早期轮次草率假设、过早锁定答案,之后拒不回头。对 harness 的意义:长会话 agent 必须把中间结论显式固化(文件、清单、计划工件),因为模型的"隐性记忆"在多轮里是系统性不可靠的——这正是规划中"外化状态"主张的测量学证据。
Recursive Language Models(arXiv:2512.24601,MIT CSAIL,2025 年 12 月)给出了一个激进的解法。问题:超长输入注定压垮上下文窗口。方法:不把长 prompt 喂给 transformer,而是把它放进一个 REPL 环境作为变量,让模型写代码探查、切片,并对自己发起递归子调用。论文报告 RLM 能处理超出窗口两个数量级的输入,在四个长上下文任务上以可比成本显著优于压缩基线和常见 coding scaffold。对 harness 的意义:这是把子代理思想推进到极致的形态——上下文管理即环境设计,长输入从"要消化的内容"变成了"要探索的环境"。
记忆:从记忆流到记忆基础设施
2023 年的记忆论文(Generative Agents、MemGPT)发明了机制;2025 年的记忆论文把机制做成了带治理、可检索、可演化的子系统。三篇代表三条路线:
| 系统 | 核心机制一句话 | 记忆如何组织 | 对 harness 的意义 |
|---|---|---|---|
| A-MEM(arXiv:2502.12110) | 借鉴 Zettelkasten 卡片盒:每条记忆生成结构化笔记(关键词、标签、上下文描述),并自动建立语义链接、让旧记忆随新经验演化 | 动态演化的笔记网络 | 记忆条目之间要有关系,检索时才能带出上下文 |
| Mem0(arXiv:2504.19413) | 从对话中抽取、更新、删除候选事实,以向量检索为主的生产级记忆层 | 扁平事实库 + 图扩展(Mem0ᵍ) | 论文报告在 LOCOMO 基准上以更低的延迟和 token 成本优于全上下文方案——记忆不是功能,是成本结构 |
| MemOS(arXiv:2505.22101) | 把记忆当作操作系统管理的资源:MemCube 统一封装参数式、激活式、明文式三类记忆,带元数据与治理属性(生命周期、权限、审计) | 记忆立方体 + 调度框架 | 记忆需要治理:过期、权限、来源追溯都是 harness 职责 |
一条共同主线
三篇论文的分歧在组织形式,共识在另一点:记忆的写入端需要判据——什么值得存、何时该更新或删除。这与 Toolformer 的"有用才保留"过滤器一脉相承:没有写入判据的记忆库,越检索越误导。实现细节见记忆系统。
多智能体:热潮与冷水
2025 年的多智能体研究有一个罕见的特点:最有影响力的两篇文献,一篇是工业界的"经验谈",一篇是学术界的"失败学"。
Anthropic 的多智能体研究系统(How we built our multi-agent research system,2025 年 6 月)。这是 Claude Research 功能的工程复盘:orchestrator-worker 结构,主 agent 分解任务、派生子 agent 并行检索,再汇总。博客最有价值的部分是诚实的边界声明:据其披露,agent 的 token 消耗约为普通对话的 4 倍,多智能体系统约为 15 倍——多 agent 只在任务价值高、可并行分解、子任务间信息需求不重叠时才划算。
MAST:多智能体失败模式分类学(Why Do Multi-Agent LLM Systems Fail?,arXiv:2503.13657,2025 年 3 月)。问题:多智能体系统到底为什么失败?方法:对 7 个主流多智能体框架、200 余条带标注轨迹做失败归因,提炼出 14 种失败模式、3 大类别(规范与系统设计缺陷、agent 间对齐失效、任务验证与终止问题)。一个贯穿性发现是验证环节的薄弱——结果没人检查就传递下去,错误沿链路放大。
把两篇放在一起读,本站的判断是:多 agent 架构目前更像一种昂贵的并行化手段,而非智能的乘法器。 它能买到的是吞吐(并行检索、并行探索),买不到的是可靠性(协调与验证成本反而上升)。工程默认值仍然是"单 agent + 好 harness + 受限的子任务委派",这正是 Claude Code 的 subagent 设计所走的路线——子代理用于隔离上下文和并行探索,不用于模拟"团队"。
边界外的失败也有了分类学。A²-Failures(Why Do Agent Teams Fail Across Boundaries?,arXiv:2610.19342,2026 年 10 月)把 MAST 的问题推向更真实的设定:移除"单一编排者、共享工作区"的假设,研究不同委托人、各有私有状态的 agent 团队如何跨边界失败——2,500 余次运行、488 个场景、8 个领域。当 agent 开始像组织一样各有立场与私有信息,失败模式就从"协调不当"变成"治理缺失"——这与 2026 年秋季工业界"agent 拥有独立身份"的产品化趋势(见下文「工业界的 Harness 军备竞赛」)恰好构成一体两面。
自我改进:harness 成为优化对象
2023 年的 Reflexion 让 agent 用反思改进行为;2025 年的 self-improving agent 则直接改进 agent 自身的代码与上下文——harness 从"人写的固定结构"变成了"被优化的变量"。
SICA(A Self-Improving Coding Agent,arXiv:2504.15228,2025 年 4 月)。问题:agent 能不能不靠人改提示词和工具,自己改进自己?方法:取消"元 agent 改目标 agent"的分层,让 agent 直接编辑自己的代码库,并用编辑历史形成改进记忆。它是最早的完整闭环演示之一。
Darwin Gödel Machine(arXiv:2505.22954,2025 年 5 月,Sakana AI 等)。问题:自我改进能不能不是局部修补,而是开放式演化?方法:维护一个 agent 档案库,每次从库中采样一个版本、让基础模型产出有趣的变体、用 coding benchmark 实证验证后入库——达尔文式开放探索。结果引人注目:SWE-bench 从 20.0% 提升到 50.0%,Polyglot 从 14.2% 到 30.7%,且自动演化出的改进恰恰是 harness 层面的——更好的代码编辑工具、长上下文窗口管理、同行评审机制。值得注意的是 DGM 全程在沙箱与人工监督下运行。
ACE(Agentic Context Engineering,arXiv:2510.04618,Stanford / SambaNova 等,2025 年 10 月)则指明了另一条不动代码的路线。问题:不改权重、不改架构,能不能让系统通过进化上下文本身来自我改进?方法:把系统提示当作不断演化的 playbook,由 generator–reflector–curator 三个角色持续增删条目,刻意对抗简洁偏置(brevity bias)和上下文坍缩(context collapse)。论文报告在 AppWorld agent 任务和金融分析任务上,相对强基线平均提升约 10.6% 和 8.6%——不碰权重,全靠上下文迭代。
自我改进的验证闭环必须外置
这三篇工作的共同前提,与 Reflexion 的教训一致:改进是否成立,由外部 benchmark / 环境信号裁决,不由模型自我感觉裁决。DGM 用 SWE-bench 入库,ACE 用任务反馈蒸馏条目。没有可靠验证器的"自我改进",只是在给幻觉做加法——这是常见陷阱里反复出现的形态。想建立全景可读自进化 agent 综述(arXiv:2507.21046,2025 年 7 月)。
对 harness 工程的推论是深远的:harness 的代码、提示词、工具描述都是可被自动搜索优化的对象——手写 harness 的先验优势正在消失,但"评估改进是否真实"的设施(可靠的本地 benchmark、轨迹审计)变成了新的护城河,见可观测性。
2026 年 9–10 月,这条线从零星演示变成了方法学家族,密度前所未有:
HarnessDev(arXiv:2609.01437,2026 年 9 月)把评测对象从"任务输出"换成"harness 本身":让 6 个模型从最小种子自建完整执行系统(Creation),再用自己的执行反馈迭代修订(Evolution)。2,207 个下游实例的结论很清醒——自造 harness 在代码、搜索领域明显落后于人工成熟 harness,在写作与 ML 实验上可匹配甚至超越,且演化收益不稳定、跨模型迁移差。换句话说:harness 设计仍是一种稀缺的人类专长,但现在第一次有了度量这种专长的基准。
VALVE(arXiv:2609.32990,2026 年 9 月)针对 skill 自进化的已知痛点——更新不稳、性能回撤——给出验证门控框架:每次 skill 库更新必须通过 holdout 验证才能准入,并给出有限收敛与回撤的理论保证。在超过 1,000 个 SWE 任务的进化时程上,三个前沿模型平均增益 14.9 分,验证门控把平均回撤降低 75%、skill 库紧凑 11 倍。自我改进的敌人从来不是改不动,而是越改越坏——VALVE 是 ACE 路线的"防退化"补丁。
同簇还有一组值得点名:T2A(arXiv:2610.16725,10 月)用成败轨迹诊断"harness 里该改什么",并以回归验证防止"修一个坏一个";Evo²(arXiv:2610.13025,10 月)让权重更新与 harness 更新联合进化;Self-Evolving Agent Harness(arXiv:2610.18813,10 月)用 continual PAC-learning 给出准入规则的泛化界与保留界;Harmony Harness(arXiv:2610.15150,10 月)做多目标(性能 vs 成本)的 Pareto 前沿搜索;Harness²(arXiv:2610.14224,10 月)处理无 ground-truth verifier 的开放世界。连同 ModularRSI、RRSI 等,9–10 月 arXiv 上以 "agent harness" 为关键词的命中超过 90 条——这个术语已经完成从工程黑话到研究对象的转变。
训练住进了骨架:Harness-Native RL
2026 年 8 月中旬,arXiv 上密集出现一簇论文,把 harness 从「推理时的外壳」变成「训练时的环境」——模型不再只是被 harness 围着跑,而是在 harness 里被训练。三天内至少三篇:
Agent Lightning v1.0(Towards Harnessed Agentic RL,arXiv:2608.17528,2026 年 8 月 18 日)。问题:给 agent 做 RL 通常要求把 agent 代码围着训练框架改写,harness 一换就得重来。方法:解耦架构——用一个 LLM 端点代理把任意 agent 接进 RL 训练回路,agent 代码不用动。论文称其初代方案已被 verl Uni-Agent、AReaL 2.0、slime、Polar 等训练框架采用。
LEGO-RL(Harness-Native Reinforcement Learning for Coding Agents,arXiv:2608.17393,同日)。问题:coding agent 的 RL 越来越依赖长时间运行的真实 harness,但 harness 的原生执行环境与策略梯度训练天然错位——环境崩溃和 reward hacking 会污染结果信号,训推不一致又让 rollout 失真。方法:把训练直接做成 harness-native 的,在真实 harness 里对齐训练与推理。
ClawGym II(arXiv:2608.16798,8 月 17 日)走了第三条路:不改 harness、不看内部状态,把整套骨架当黑盒环境做 RL,专攻长时程任务上"穿过复杂 harness 训练难以扩展"的问题。
独立判断
5 月的披露檄文证明了「同一模型换 harness 分数不同」,8 月这一簇论文是顺理成章的下一步:既然 harness 决定表现,那就让模型在最真实的 harness 里学习。对从业者的含义很直接——你写的 harness 不再只是部署资产,它开始参与决定模型能学成什么样;harness 的稳定性(崩溃率、信号干净程度)从工程指标变成了训练指标。
同一周还有三篇值得扫一眼:Demystifying Agent Skills(arXiv:2608.14036,8 月 14 日)用受控实验回答「skills 什么时候有用、为什么有用、在哪失效」,正好给本站 Skills 一页提供实证对照;AgentRewind(arXiv:2608.14380,8 月 14 日)处理长时程执行的可恢复性——早期错误会同时污染上下文和环境状态,靠后续动作往往救不回来,需要可回滚的执行;HarnessRisk(arXiv:2608.17597,8 月 18 日)则是第一个按 harness 职责(工具、扩展、持久状态、权限、外部动作)组织的全生命周期安全基准,把权限与安全从最佳实践推向了可测量。
9 月出现了这条线的第二个动作:把 harness 增益搬回权重,然后拆掉 harness。
Harness-Zero(arXiv:2609.24974,2026 年 9 月)提出 agent-as-harness 蒸馏:一个 harnessing agent 在目标 harness 的原生动作空间里修正 student 的响应,把优化 harness 的引导转成 SFT 轨迹。部署时移除专用 harness 后,成功率从 23.3% 升至 44.3%——超过带着 harness 时的 41.7%。RSR(arXiv:2610.02826,2026 年 10 月)同题异解:planner 把成功过程抽成 runbook、critic 检查信息泄漏、executor 在新沙箱按 runbook 重跑,把专用 harness 下的成功轨迹重写成通用 harness 可用的训练数据——Terminal-Bench 2 pass@3 从 57.0% 提到 74.2%。MemoryWalker(arXiv:2609.00865,2026 年 9 月)则指出一个隐蔽问题:生产 harness 的上下文压缩使有效历史变成"树"而非序列,直接线性化做训练会造成时间穿越泄漏——"在真实 harness 里训练"必须连压缩一起建模。三篇合起来,harness 的角色从"训练环境"再进一步:训练期的脚手架,部署时的弃子——这与 meta-harness"工作规则随模型升级删除"的主张形成闭环。
从 Harness 到 Meta-harness:架构的显式化
2026 年春天,Anthropic 的两篇工程长文把 harness 讨论从"技巧"推进到"架构"。它们不是论文,但定义了术语——meta-harness、durable session、brain–hands decoupling,很可能是下一批论文要反复引用的词汇。
长任务 harness 的生成—评估结构(Building a harness for long-running application development,2026 年 3 月)。问题:agent 自主构建完整应用时有两个顽疾——长任务中逐渐跑偏,以及让它评价自己的产出时,它会自信地表扬平庸之作。方法:借鉴 GAN,把生成与验收拆给两个 agent。generator 按 sprint 构建;evaluator 拿着明确评分标准(设计质量、原创性、工艺、功能,各设硬阈值),用 Playwright 实际操作运行中的应用来验收;两者开工前先协商"sprint 契约",把"这段做完长什么样"变成可测试的条目。对照实验很直白:同一句话提示,单 agent 跑 20 分钟花 $9,产出的核心功能是坏的;完整 harness 跑 6 小时花 $200,产出可用。对 harness 的意义:会生成与会验收是两种职责——evaluator 的可信度不来自"再叫一个模型说通过",而来自可检查的评分标准与真实环境里的验收动作。文中另一个反直觉教训:把 harness 一口气砍到极简无法复现性能,只能逐个移除组件做消融,才知道哪些是承重墙。
Managed Agents 与 meta-harness(Managed Agents,2026 年 4 月)。问题升了一层:harness 的每个组件都编码了"模型做不到什么"的假设,而模型升级会让假设过期——Sonnet 4.5 的 context anxiety 需要上下文重置补丁,Opus 4.5 上该行为消失,补丁成了死重。答案借鉴操作系统:为"尚未想到的程序"设计稳定抽象。Managed Agents 把 agent 的三个组件各自虚拟化为接口——session(追加式事件日志,持久保存一切)、harness(调用模型并路由工具调用的循环)、sandbox(执行环境)——实现可互换,接口保持稳定。这套"脑(模型 + harness)、手(sandbox + 工具)、会话(事件日志)"的解耦带来三个直接收益:故障隔离(容器崩溃对 harness 只是一次工具调用错误,新实例 wake(sessionId) 即可从断点恢复);安全边界(凭证放在沙箱外的保险库,模型经代理调用外部服务时从不接触 token);以及 p50 首 token 延迟下降约 60%。文章把这种系统命名为 meta-harness:对"接口的形状"有主见,对"接口后面跑什么 harness"没有主见——Claude Code 是一种 harness,任务专用 harness 也是一种,meta-harness 都装得下。
独立判断
两篇文章合起来,回答的是同一个问题的两面:哪些工作规则应该留下,哪些应该随模型升级被删除。 答案是按信息类型划分,而不是按组件划分——工作状态与证据(session 日志、评分标准、轨迹)值得长期保存;具体的工作方法(上下文重置、sprint 分解这类针对旧模型的补丁)应该设计成可移除的。这与 2026 年 5 月的披露檄文构成有趣的对照:一边在拆 harness,一边在要求披露 harness——共识是 harness 里的每个组件都必须能回答"你为什么还在这里"。
2026 秋季:工业界的 Harness 军备竞赛
2026 年 9–10 月,工业界把上半年的架构概念(meta-harness、durable session、生成—评估)集中产品化,并收敛到几个共同主题。这一节的信息来源全部是厂商一手博客与公告。
规模化监督有了第一组公开指标。 Anthropic Institute 的《Measuring the pace of AI development》(2026 年 9 月)首次披露内部 agent 舰队的治理:截至 2026 年 8 月约 3 万个并发 agent 参与研发;双层监视器(在线实时拦截,约 1/47,000 的动作被拦;离线事后审查,每周约 10 万条 transcript 被标记);并提出三个可跨实验室对比的 oversight 指标——覆盖率、审查延迟、升级率。附录里两个 harness 设计选择值得单独记住:agent 拥有独立身份(不绑定模型、可跨模型升级延续,把其他 agent 的输出视为"待核实的声明"而非自己的想法)与开放通信(agent 间消息全部公开、可遍历通信图)。
"常驻 agent"与"agent 身份"产品化。 OpenAI 在 DevDay 发布 Dots(2026 年 9 月):always-on agent,每个 dot 有自己的云电脑与浏览器,默认只读、发消息与改内容需批准、保存的密码对模型不可见,并预告拥有企业身份的 specialist dots;Google 在 Gemini at Work 发布 coworker agents(2026 年 10 月,官方博客):agent 拥有自己的 Workspace 邮箱、日历、Drive,以自己的身份而非用户的身份行事,并内建跨厂商模型路由(在 Gemini 与 Claude 之间选择);Manus 2.0(2026 年 9 月,官方博客)直接把新架构命名为 harness——Cascade,按需加载能力的渐进式设计带来 token 省 23.2%、成本降 32%,配套事件触发的 Automations 与拥有自己邮箱、电话、钱包的个人 agent 应用 Cue。三家不约而同:durable session 不再只是恢复机制,而成了 agent 的"人格载体"。
大小模型分工成为显式架构。 Cognition 发布 SWE-2 模型与 Fusion harness(2026 年 9 月,Cognition 博客):前沿模型做 lead(规划、歧义解读、审查),廉价模型做 sidekick(探索、实现、跑测试),两者只交换任务简报与结果、各自维护独立上下文以吃满 prompt 缓存,官方称比单模型 harness 便宜约 39%。Anthropic 的 Claude 5.5 家族(2026 年 9–10 月,Sonnet 5.5、Haiku 5.5)走了同构路线:Haiku 5.5 明确定位为 subagent 角色(压缩、摘要、分类),价格约为上代的 1/4。同一份官方发布里还藏着一个罕见的诚实案例:Sonnet 5.5 在高 effort 下会"更频繁地自发运行多 agent 代码审查",曾导致超时或超范围修改——模型行为反噬 harness 的失败模式,值得每个 harness 维护者警惕。
基础设施开始为 agent 重写。 Anthropic 工程博客披露(2026 年 10 月):日合并量从 5 月的约 2,500 次暴涨到 9 月的 30,000+ 次,Claude 写的代码压垮了为人设计的开发基础设施,于是用 5 个月把 monorepo 从 Git 迁到自研的 Scion——设计原则第一条是"客户端永远在线,因为几乎所有客户端都是 agent 和 job"。Vercel 的《State of agent skills》(2026 年 9 月)给出生态规模数据:skills.sh 注册表七个月达到 100 万个 skill、2.8 亿次安装(GitHub 到百万仓库用了 27 个月),其中"教 agent 如何工作"的 workflow 类 skill 占安装量 14.8%——用 agent 改进 agent 已是主流用法而非实验。Cursor 同期的 Rollouts 与 Security Review(2026 年 9 月)——每个 PR 自动生成"监控计划"、逐环境验证部署健康、对每个 PR 报告可利用漏洞——则是生成—评估结构在交付流水线上的完整闭环。
安全研究跟上了架构演进。 两篇值得警惕:《What's in Your Agent's Context?》(arXiv:2609.01222,2026 年 9 月)首次系统分析商用 harness 的上下文组装设计,揭示上下文特权提升攻击——低权限内容经组装管道获得超出预期的影响力;《A Blind Trust, the Bloody Thrust》(arXiv:2609.03884,2026 年 9 月)指出 harness 的生命周期 hook(session start、工具调用等触发的 shell 命令)是一条被盲信的供应链攻击面——hook 以宿主权限运行,且可以在模型不可见时触发。两条攻击面都打在 meta-harness 时代的新接缝上:组装管道与扩展点。
评测:从分数到纪律
2025 年后的评测研究有两条平行线:更难的新基准,和对"分数本身可信度"的系统性拷问。
新基准补上了老基准的盲区:
| 基准 | 年份 | 测什么 | 关键发现 / 特点 |
|---|---|---|---|
| τ²-bench(arXiv:2506.07982) | 2025 | 双重控制:用户和 agent 都能操作共享环境(客服场景) | agent 在用户也会行动时表现显著退化;多次试跑的通过率一致性(pass^k)很低 |
| BrowseComp(arXiv:2504.12516) | 2025 | 需要持久多跳浏览才能找到的答案,1266 道难题 | 普通模型几乎全军覆没,催生了 deep research 类 agent 的军备竞赛 |
| Terminal-Bench | 2025 | 真实终端环境中的任务(编译、配置、运维) | 把评测推进到 coding agent 的主战场——命令行 |
评测纪律成为独立议题。 Princeton 的 HAL(Holistic Agent Leaderboard)(2025 年)把评测基础设施化:用统一 harness 跑多个基准、公开完整轨迹、披露成本,让任何人审计"这个分数是怎么跑出来的"。Confucius Code Agent(arXiv:2512.10398,2025 年 12 月)用同模型跨 scaffold 的对照实验量化了 harness 的贡献;2026 年 5 月的《Stop Comparing LLM Agents Without Disclosing the Harness》(arXiv:2605.23950)把话说绝:在标准化 scaffold 下重测后,不披露 harness 的 agent 分数不可比较。
本站的阅读建议
读 2025 年后的任何 agent 论文或榜单,先做三次检查:harness 披露了吗?报告的是单次还是 pass^k?失败案例分析了吗?三个里缺两个,数字就只能当广告看。这条纪律同样适用于你自己搭 harness 时的自测,见设计原则。
九条主线合起来看
- 长时程告诉我们瓶颈在执行可靠性与错误复合,不在单步聪明;
- 上下文工程与记忆回答"信息怎么进、怎么留";
- 多智能体的冷水提醒我们:并行化收益必须跑赢协调成本;
- 自我改进把 harness 变成优化对象,同时抬高了验证设施的地位;
- 训练内生化更进一步:harness 从部署外壳变成训练环境,骨架的工程质量开始直接塑造模型能力;
- 架构显式化(meta-harness)把问题再升一层:接口要稳定、实现要可换——状态与证据长期保存,具体工作规则设计成可随模型升级删除;
- 工业界军备竞赛把概念变成了产品与指标:常驻 agent、agent 身份、大小模型分工、为 agent 重写的基础设施——harness 层正式成为主战场;
- 评测纪律则给以上全部主张提供了判据。
一个贯穿性的观察:2022–2024 年的论文问"模型能做什么",2025–2026 年的论文问"系统在多长时间尺度上、以什么成本、可被验证地做什么"。研究重心从能力秀变成了工程问责——这本身就是 harness 视角的胜利。
延伸阅读
- 经典论文精读——本页所有工作的前身:ReAct、Reflexion、MemGPT、SWE-agent
- 论文地图——按主题组织的完整学术地图
- 什么是 Agent Harness——Confucius CCA 与 harness 披露檄文的详细解读
- 上下文工程——Context Rot、recitation、压缩的工程化展开
- 记忆系统——A-MEM / Mem0 / MemOS 思想的产品形态
- 子代理——多 agent 热潮下的工程默认值
- 规划——外化状态对抗多轮迷失的机制分析
- Skills——自我改进 agent 的技能沉淀在产品中的对应物
- 可观测性——自我改进时代的验证与审计基础设施
- 常见陷阱——前沿论文反复印证的工程教训
参考资料
- Measuring AI Ability to Complete Long Tasks (arXiv:2503.14499)
- The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs (arXiv:2509.09677)
- Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents (arXiv:2502.15840)
- Anthropic: Project Vend(Claude 经营实体售货机)
- Manus 博客:Context Engineering for AI Agents: Lessons from Building Manus
- Anthropic 工程博客:Effective Context Engineering for AI Agents
- Chroma Research 技术报告:Context Rot
- LLMs Get Lost in Multi-Turn Conversation (arXiv:2505.06120)
- Recursive Language Models (arXiv:2512.24601)
- A-MEM: Agentic Memory for LLM Agents (arXiv:2502.12110)
- Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory (arXiv:2504.19413)
- MemOS: An Operating System for Memory-Augmented Generation (arXiv:2505.22101)
- Anthropic 工程博客:How we built our multi-agent research system
- Why Do Multi-Agent LLM Systems Fail? (MAST, arXiv:2503.13657)
- A Self-Improving Coding Agent (SICA, arXiv:2504.15228)
- Darwin Gödel Machine (arXiv:2505.22954)
- Agentic Context Engineering (ACE, arXiv:2510.04618)
- A Survey of Self-Evolving Agents (arXiv:2507.21046)
- τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment (arXiv:2506.07982)
- BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents (arXiv:2504.12516)
- Terminal-Bench(Laude Institute)
- HAL: Holistic Agent Leaderboard(Princeton)
- Confucius Code Agent (arXiv:2512.10398)
- Anthropic 工程博客:长时程应用开发的 harness 设计(2026-03)
- Anthropic 工程博客:Managed Agents——为长时程 agent 构建 meta-harness(2026-04)
- Stop Comparing LLM Agents Without Disclosing the Harness (arXiv:2605.23950)
- Recoverability as a System Primitive for Long-Horizon AI Agents (arXiv:2609.13672)
- An Architecture for Long-Horizon Agents: Levels, Ticks and Cascaded Intelligence (arXiv:2609.19519)
- A²-Failures: Why Do Agent Teams Fail Across Boundaries? (arXiv:2610.19342)
- HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? (arXiv:2609.01437)
- VALVE: Certified Long-Horizon Code Agent Evolution via Validation-Gated Skill Optimization (arXiv:2609.32990)
- Trace-to-Architecture (T2A, arXiv:2610.16725)
- Evo²: Evolving the Evolver through Weight-Harness Co-Evolution (arXiv:2610.13025)
- Self-Evolving Agent Harness (arXiv:2610.18813)
- Harmony Harness (arXiv:2610.15150)
- Harness²: Recursive Agent Harnessing for an Open World (arXiv:2610.14224)
- Harness-Zero: Harness Distillation via Agent-as-Harness (arXiv:2609.24974)
- Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite (arXiv:2610.02826)
- MemoryWalker: Stop Training Agents on Contexts They Never Saw (arXiv:2609.00865)
- What's in Your Agent's Context? Context Privilege Escalation Attacks (arXiv:2609.01222)
- A Blind Trust, the Bloody Thrust (arXiv:2609.03884)
- Anthropic Institute: Measuring the pace of AI development(2026-09)
- OpenAI: Introducing Dots(2026-09)
- Google Cloud: Gemini at Work——Gemini agent 与 coworker agents(2026-10)
- Manus 2.0 官方博客:Cascade harness(2026-09)
- Cognition 博客:SWE-2 与 Fusion harness(2026-09)
- Anthropic: Claude Sonnet 5.5(2026-09)
- Anthropic: Claude Haiku 5.5(2026-10)
- Vercel: State of agent skills(2026-09)
- Cursor Changelog:Rollouts 与 Security Review(2026-09)
- Agent Lightning v1.0: Towards Harnessed Agentic RL (arXiv:2608.17528)
- LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents (arXiv:2608.17393)
- ClawGym II: Exploring Black-Box RL on Agent Harness (arXiv:2608.16798)
- Demystifying Agent Skills: Why They Work—Until They Don't (arXiv:2608.14036)
- AgentRewind: Recoverable Execution for Long-Horizon LLM Agents (arXiv:2608.14380)
- HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety (arXiv:2608.17597)