Skip to content

前沿进展

本页速览 梳理 2025–2026 年 Agent Harness 研究的九条前沿主线:长时程执行、上下文工程、记忆基础设施、多智能体协作、自我改进 agent、训练内生化、架构显式化(Meta-harness)、工业界军备竞赛与评测纪律,逐篇标注问题、方法与对 harness 设计的启示。

本页含时效性内容,数据截止于 2026-10;JD、价格、产品功能等信息可能已变化,引用前请核对原始出处。

前沿进展 ​

经典论文讲的是 2022–2024 年:harness 的组件被逐个发明——循环、工具、记忆、规划、接口。2025 年之后,研究问题换了一个方向:组件都在了,但它们能在几小时、几天的任务里可靠地协同工作吗? 失败分析取代了能力演示,上下文从提示技巧升格为系统学科,harness 本身甚至成了被优化和被比较的对象。

本页按主题梳理九条主线,每条给出代表性工作(问题、方法一句话、与 harness 设计的关系)和本站的独立判断。所有 arXiv 编号与发布日期均已核实。

text
2025.02  A-MEM ──────────────── 记忆结构化:笔记 + 链接 + 演化
2025.03  METR 长任务测量 ────── "能撑多久"取代"答得多对"成为度量衡
2025.03  MAST ───────────────── 多智能体失败模式分类学(冷水第一盆)
2025.04  SICA ───────────────── agent 开始改自己的代码
2025.05  多轮迷失 ───────────── 多轮对话平均掉分 39%
2025.05  DGM ────────────────── 开放式进化:SWE-bench 20% → 50%
2025.06  Anthropic 多智能体系统 ─ 工业界承认多 agent 的成本与边界
2025.07  Context Rot / Manus ── 上下文工程成为显学
2025.09  递减回报的错觉 ──────── 长程执行的失败在执行,不在推理
2025.10  ACE ────────────────── 上下文即 playbook,自我进化
2025.12  RLM / Confucius CCA ── 上下文即环境;scaffold 价值被量化
2026.03  Anthropic 长任务 harness ── 生成—评估结构:主观质量变得可评分
2026.04  Anthropic Managed Agents ── meta-harness:脑、手、会话解耦
2026.05  Harness 披露檄文 ───── 不披露 harness 的分数不可比较
2026.08  Agent Lightning / LEGO-RL ── 训练住进了骨架(Harness-Native RL)
2026.09  Harness-Zero / RSR ─── harness 增益蒸馏回权重
2026.09  Harness 自进化方法群 ── HarnessDev / VALVE / T2A:从想法到方法学
2026.09  Anthropic 度量报告 ─── 3 万并发 agent 的双层监督
2026.09  Manus 2.0 / Dots ───── 常驻 agent 与"agent 身份"产品化
2026.10  Claude 5.5 / Scion ─── 模型行为反噬 harness;基础设施为 agent 重写

长时程 Agent:从"答得对"到"撑得久" ​

这一组工作共同把 agent 能力的度量衡从"单题成功率"换成了"时间跨度",并解释了长任务为什么难。

METR 的长任务测量(Measuring AI Ability to Complete Long Tasks,arXiv:2503.14499,2025 年 3 月)。问题:模型的 agent 能力到底怎么度量?方法:不看分数,看"50% 任务完成时间跨度"——模型能以 50% 可靠性独立完成的人类任务时长。他们发现这个时长从 2019 年起大约每 7 个月翻一倍,2025 年初的前沿模型约在 1 小时量级。对 harness 的意义:这是一个 harness-sensitive 指标——同一模型在不同的上下文管理、错误恢复设计下,"能撑住的任务时长"完全不同,时间跨度是比单步准确率更诚实的 harness 试金石。

《递减回报的错觉》(The Illusion of Diminishing Returns,arXiv:2509.09677,2025 年 9 月)。问题:短任务基准上的提升趋缓,是否意味着 scaling 到头了?方法:把"执行任务"与"推理任务"分离——直接给模型提供解题所需的知识和计划,只测它执行长指令序列的能力。三个发现对 harness 设计至关重要:

  • 单步准确率的微小提升会复合成可完成任务长度的指数级增长——短基准上的"边际收益递减"是测量错觉;
  • 长程失败主要来自执行错误而非推理能力不足;
  • 存在 self-conditioning 效应:上下文里出现自己前几轮的错误,会显著提高后续出错的概率,且单纯扩大模型规模不能消除它,但 thinking(长链推理)能显著缓解。
text
单步可靠性的复合效应(为什么 1% 的进步很大)

   单步成功率 95%    × 连续 100 步 ≈ 0.6% 整体成功率
   单步成功率 99.9%  × 连续 1000 步 ≈ 36.8% 整体成功率

   → 长任务下,harness 的每一次错误拦截、每一次轨迹清理
     都在指数曲线上做功

self-conditioning 对上下文工程的直接推论

如果"上下文里留有模型自己的错误"本身就有毒,那么 harness 在压缩、重写、总结轨迹时就不该忠实地保留失败尝试的全过程——上下文工程中的轨迹清理(如折叠冗余错误输出、用结构化摘要替换原始报错)获得了来自测量研究的理论支持。

Vending-Bench(arXiv:2502.15840,2025 年 2 月)则从反面刻画了长时程的失效形态:让模型长期经营一台虚拟自动售货机,测的是长期连贯性。即使最强的模型也会在长时间运行后陷入"妄想螺旋"——坚持某个错误信念(比如以为货没送到)并围绕它做出一连串越来越荒唐的决策。Anthropic 后来真的让 Claude 经营了一台实体售货机(Project Vend,2025 年 6 月),观察到了同类的长程失稳。对 harness 的意义很直白:长任务需要外置的校验与状态回写机制,指望模型在几百轮之后仍然"自己想明白"是不可靠的。

把三篇合起来,长时程研究给 harness 设计开出的处方是一致的:agent 循环里要有停止与预算控制,上下文里要持续清理"有毒"的错误轨迹,关键状态要外化到模型无法篡改的地方,长任务的风险操作要过权限闸口。没有一条是靠"等更强的模型"解决的。

2026 年 9 月,两篇新工作把"撑得久"从测量问题推进为系统原语问题。

《Recoverability as a System Primitive for Long-Horizon AI Agents》(arXiv:2609.13672,2026 年 9 月)指出一个被忽视的区分:"存了状态"不等于"该从这里续"——被中断的 agent 盲目续跑可能带病传播。方法:把可恢复性做成系统原语,显式选择受支持的恢复点与恢复动作,用绑定证据、执行与独立检查的行为契约来约束。其实验证明"字节级恢复正确 + 任务成功"可以同时掩盖非法恢复点——恢复决策本身需要独立的评测维度。这是 8 月 AgentRewind 的直接理论化。

《An Architecture for Long-Horizon Agents: Levels, Ticks and Cascaded Intelligence》(arXiv:2609.19519,2026 年 9 月)则给出一份单案例但信息量很高的架构报告:跨天任务超出任何上下文窗口与进程寿命,解法是三件套——按时间尺度分层的有界摘要文件(levels)、时钟 tick 作为自治动作单元、失败评审后才升级到更强模型的级联智能(cascaded intelligence)。作者在 10 天战役中以每天仅一次人工介入复现了一个已发表的 RL 结果。证据强度有限(N=1),但"长时程能力在 harness 而非模型"的主张与 Anthropic durable session 的工业实践互相印证。

上下文工程成为一门学科 ​

2025 年最重要的概念变化,是 "context engineering" 从少数人的口头禅变成了行业术语。两篇工业界长文定义了它:Manus 团队的《Context Engineering for AI Agents: Lessons from Building Manus》(2025 年 7 月)和 Anthropic 的《Effective Context Engineering for AI Agents》(2025 年 9 月)。前者贡献了今天被广泛引用的工程手段:保持 KV-cache 前缀稳定、用 todo.md 的反复重写把目标"背诵"进近期注意力(recitation)、把文件系统当作无限大的外部上下文;后者系统化了"最小充分上下文"的原则。详见上下文工程。

学术界同期提供了两条关键证据。

Context Rot(Chroma Research 技术报告,2025 年 7 月,research.trychroma.com/context-rot)。问题:上下文窗口越来越大,性能真的跟着涨吗?方法:对 18 个主流模型做受控测量,改变输入长度而控制任务难度。结论:随着输入 token 增加,模型性能单调下降,即使任务本身不变难——"100 万 token 窗口"的宣传数字与"有效上下文"之间存在系统性差距。对 harness 的意义:往上下文里多塞东西不是免费的,策展(curation)是 harness 不可推卸的职责。

《LLMs Get Lost in Multi-Turn Conversation》(arXiv:2505.06120,Microsoft Research / Salesforce,2025 年 5 月)。问题:模型在多轮对话里的表现和单轮一样好吗?方法:20 万次以上的模拟对话,对比单轮全信息与多轮逐步披露。结论:所有受测模型在多轮设定下平均掉分 39%,且分解显示主要是可靠性崩塌(方差变大)而非能力下降——模型在早期轮次草率假设、过早锁定答案,之后拒不回头。对 harness 的意义:长会话 agent 必须把中间结论显式固化(文件、清单、计划工件),因为模型的"隐性记忆"在多轮里是系统性不可靠的——这正是规划中"外化状态"主张的测量学证据。

Recursive Language Models(arXiv:2512.24601,MIT CSAIL,2025 年 12 月)给出了一个激进的解法。问题:超长输入注定压垮上下文窗口。方法:不把长 prompt 喂给 transformer,而是把它放进一个 REPL 环境作为变量,让模型写代码探查、切片,并对自己发起递归子调用。论文报告 RLM 能处理超出窗口两个数量级的输入,在四个长上下文任务上以可比成本显著优于压缩基线和常见 coding scaffold。对 harness 的意义:这是把子代理思想推进到极致的形态——上下文管理即环境设计,长输入从"要消化的内容"变成了"要探索的环境"。

记忆:从记忆流到记忆基础设施 ​

2023 年的记忆论文(Generative Agents、MemGPT)发明了机制;2025 年的记忆论文把机制做成了带治理、可检索、可演化的子系统。三篇代表三条路线:

系统核心机制一句话记忆如何组织对 harness 的意义
A-MEM(arXiv:2502.12110)借鉴 Zettelkasten 卡片盒:每条记忆生成结构化笔记(关键词、标签、上下文描述),并自动建立语义链接、让旧记忆随新经验演化动态演化的笔记网络记忆条目之间要有关系,检索时才能带出上下文
Mem0(arXiv:2504.19413)从对话中抽取、更新、删除候选事实,以向量检索为主的生产级记忆层扁平事实库 + 图扩展(Mem0ᵍ)论文报告在 LOCOMO 基准上以更低的延迟和 token 成本优于全上下文方案——记忆不是功能,是成本结构
MemOS(arXiv:2505.22101)把记忆当作操作系统管理的资源:MemCube 统一封装参数式、激活式、明文式三类记忆,带元数据与治理属性(生命周期、权限、审计)记忆立方体 + 调度框架记忆需要治理:过期、权限、来源追溯都是 harness 职责

一条共同主线

三篇论文的分歧在组织形式,共识在另一点:记忆的写入端需要判据——什么值得存、何时该更新或删除。这与 Toolformer 的"有用才保留"过滤器一脉相承:没有写入判据的记忆库,越检索越误导。实现细节见记忆系统。

多智能体:热潮与冷水 ​

2025 年的多智能体研究有一个罕见的特点:最有影响力的两篇文献,一篇是工业界的"经验谈",一篇是学术界的"失败学"。

Anthropic 的多智能体研究系统(How we built our multi-agent research system,2025 年 6 月)。这是 Claude Research 功能的工程复盘:orchestrator-worker 结构,主 agent 分解任务、派生子 agent 并行检索,再汇总。博客最有价值的部分是诚实的边界声明:据其披露,agent 的 token 消耗约为普通对话的 4 倍,多智能体系统约为 15 倍——多 agent 只在任务价值高、可并行分解、子任务间信息需求不重叠时才划算。

MAST:多智能体失败模式分类学(Why Do Multi-Agent LLM Systems Fail?,arXiv:2503.13657,2025 年 3 月)。问题:多智能体系统到底为什么失败?方法:对 7 个主流多智能体框架、200 余条带标注轨迹做失败归因,提炼出 14 种失败模式、3 大类别(规范与系统设计缺陷、agent 间对齐失效、任务验证与终止问题)。一个贯穿性发现是验证环节的薄弱——结果没人检查就传递下去,错误沿链路放大。

把两篇放在一起读,本站的判断是:多 agent 架构目前更像一种昂贵的并行化手段,而非智能的乘法器。 它能买到的是吞吐(并行检索、并行探索),买不到的是可靠性(协调与验证成本反而上升)。工程默认值仍然是"单 agent + 好 harness + 受限的子任务委派",这正是 Claude Code 的 subagent 设计所走的路线——子代理用于隔离上下文和并行探索,不用于模拟"团队"。

边界外的失败也有了分类学。A²-Failures(Why Do Agent Teams Fail Across Boundaries?,arXiv:2610.19342,2026 年 10 月)把 MAST 的问题推向更真实的设定:移除"单一编排者、共享工作区"的假设,研究不同委托人、各有私有状态的 agent 团队如何跨边界失败——2,500 余次运行、488 个场景、8 个领域。当 agent 开始像组织一样各有立场与私有信息,失败模式就从"协调不当"变成"治理缺失"——这与 2026 年秋季工业界"agent 拥有独立身份"的产品化趋势(见下文「工业界的 Harness 军备竞赛」)恰好构成一体两面。

自我改进:harness 成为优化对象 ​

2023 年的 Reflexion 让 agent 用反思改进行为;2025 年的 self-improving agent 则直接改进 agent 自身的代码与上下文——harness 从"人写的固定结构"变成了"被优化的变量"。

SICA(A Self-Improving Coding Agent,arXiv:2504.15228,2025 年 4 月)。问题:agent 能不能不靠人改提示词和工具,自己改进自己?方法:取消"元 agent 改目标 agent"的分层,让 agent 直接编辑自己的代码库,并用编辑历史形成改进记忆。它是最早的完整闭环演示之一。

Darwin Gödel Machine(arXiv:2505.22954,2025 年 5 月,Sakana AI 等)。问题:自我改进能不能不是局部修补,而是开放式演化?方法:维护一个 agent 档案库,每次从库中采样一个版本、让基础模型产出有趣的变体、用 coding benchmark 实证验证后入库——达尔文式开放探索。结果引人注目:SWE-bench 从 20.0% 提升到 50.0%,Polyglot 从 14.2% 到 30.7%,且自动演化出的改进恰恰是 harness 层面的——更好的代码编辑工具、长上下文窗口管理、同行评审机制。值得注意的是 DGM 全程在沙箱与人工监督下运行。

ACE(Agentic Context Engineering,arXiv:2510.04618,Stanford / SambaNova 等,2025 年 10 月)则指明了另一条不动代码的路线。问题:不改权重、不改架构,能不能让系统通过进化上下文本身来自我改进?方法:把系统提示当作不断演化的 playbook,由 generator–reflector–curator 三个角色持续增删条目,刻意对抗简洁偏置(brevity bias)和上下文坍缩(context collapse)。论文报告在 AppWorld agent 任务和金融分析任务上,相对强基线平均提升约 10.6% 和 8.6%——不碰权重,全靠上下文迭代。

自我改进的验证闭环必须外置

这三篇工作的共同前提,与 Reflexion 的教训一致:改进是否成立,由外部 benchmark / 环境信号裁决,不由模型自我感觉裁决。DGM 用 SWE-bench 入库,ACE 用任务反馈蒸馏条目。没有可靠验证器的"自我改进",只是在给幻觉做加法——这是常见陷阱里反复出现的形态。想建立全景可读自进化 agent 综述(arXiv:2507.21046,2025 年 7 月)。

对 harness 工程的推论是深远的:harness 的代码、提示词、工具描述都是可被自动搜索优化的对象——手写 harness 的先验优势正在消失,但"评估改进是否真实"的设施(可靠的本地 benchmark、轨迹审计)变成了新的护城河,见可观测性。

2026 年 9–10 月,这条线从零星演示变成了方法学家族,密度前所未有:

HarnessDev(arXiv:2609.01437,2026 年 9 月)把评测对象从"任务输出"换成"harness 本身":让 6 个模型从最小种子自建完整执行系统(Creation),再用自己的执行反馈迭代修订(Evolution)。2,207 个下游实例的结论很清醒——自造 harness 在代码、搜索领域明显落后于人工成熟 harness,在写作与 ML 实验上可匹配甚至超越,且演化收益不稳定、跨模型迁移差。换句话说:harness 设计仍是一种稀缺的人类专长,但现在第一次有了度量这种专长的基准。

VALVE(arXiv:2609.32990,2026 年 9 月)针对 skill 自进化的已知痛点——更新不稳、性能回撤——给出验证门控框架:每次 skill 库更新必须通过 holdout 验证才能准入,并给出有限收敛与回撤的理论保证。在超过 1,000 个 SWE 任务的进化时程上,三个前沿模型平均增益 14.9 分,验证门控把平均回撤降低 75%、skill 库紧凑 11 倍。自我改进的敌人从来不是改不动,而是越改越坏——VALVE 是 ACE 路线的"防退化"补丁。

同簇还有一组值得点名:T2A(arXiv:2610.16725,10 月)用成败轨迹诊断"harness 里该改什么",并以回归验证防止"修一个坏一个";Evo²(arXiv:2610.13025,10 月)让权重更新与 harness 更新联合进化;Self-Evolving Agent Harness(arXiv:2610.18813,10 月)用 continual PAC-learning 给出准入规则的泛化界与保留界;Harmony Harness(arXiv:2610.15150,10 月)做多目标(性能 vs 成本)的 Pareto 前沿搜索;Harness²(arXiv:2610.14224,10 月)处理无 ground-truth verifier 的开放世界。连同 ModularRSI、RRSI 等,9–10 月 arXiv 上以 "agent harness" 为关键词的命中超过 90 条——这个术语已经完成从工程黑话到研究对象的转变。

训练住进了骨架:Harness-Native RL ​

2026 年 8 月中旬,arXiv 上密集出现一簇论文,把 harness 从「推理时的外壳」变成「训练时的环境」——模型不再只是被 harness 围着跑,而是在 harness 里被训练。三天内至少三篇:

Agent Lightning v1.0(Towards Harnessed Agentic RL,arXiv:2608.17528,2026 年 8 月 18 日)。问题:给 agent 做 RL 通常要求把 agent 代码围着训练框架改写,harness 一换就得重来。方法:解耦架构——用一个 LLM 端点代理把任意 agent 接进 RL 训练回路,agent 代码不用动。论文称其初代方案已被 verl Uni-Agent、AReaL 2.0、slime、Polar 等训练框架采用。

LEGO-RL(Harness-Native Reinforcement Learning for Coding Agents,arXiv:2608.17393,同日)。问题:coding agent 的 RL 越来越依赖长时间运行的真实 harness,但 harness 的原生执行环境与策略梯度训练天然错位——环境崩溃和 reward hacking 会污染结果信号,训推不一致又让 rollout 失真。方法:把训练直接做成 harness-native 的,在真实 harness 里对齐训练与推理。

ClawGym II(arXiv:2608.16798,8 月 17 日)走了第三条路:不改 harness、不看内部状态,把整套骨架当黑盒环境做 RL,专攻长时程任务上"穿过复杂 harness 训练难以扩展"的问题。

独立判断

5 月的披露檄文证明了「同一模型换 harness 分数不同」,8 月这一簇论文是顺理成章的下一步:既然 harness 决定表现,那就让模型在最真实的 harness 里学习。对从业者的含义很直接——你写的 harness 不再只是部署资产,它开始参与决定模型能学成什么样;harness 的稳定性(崩溃率、信号干净程度)从工程指标变成了训练指标。

同一周还有三篇值得扫一眼:Demystifying Agent Skills(arXiv:2608.14036,8 月 14 日)用受控实验回答「skills 什么时候有用、为什么有用、在哪失效」,正好给本站 Skills 一页提供实证对照;AgentRewind(arXiv:2608.14380,8 月 14 日)处理长时程执行的可恢复性——早期错误会同时污染上下文和环境状态,靠后续动作往往救不回来,需要可回滚的执行;HarnessRisk(arXiv:2608.17597,8 月 18 日)则是第一个按 harness 职责(工具、扩展、持久状态、权限、外部动作)组织的全生命周期安全基准,把权限与安全从最佳实践推向了可测量。

9 月出现了这条线的第二个动作:把 harness 增益搬回权重,然后拆掉 harness。

Harness-Zero(arXiv:2609.24974,2026 年 9 月)提出 agent-as-harness 蒸馏:一个 harnessing agent 在目标 harness 的原生动作空间里修正 student 的响应,把优化 harness 的引导转成 SFT 轨迹。部署时移除专用 harness 后,成功率从 23.3% 升至 44.3%——超过带着 harness 时的 41.7%。RSR(arXiv:2610.02826,2026 年 10 月)同题异解:planner 把成功过程抽成 runbook、critic 检查信息泄漏、executor 在新沙箱按 runbook 重跑,把专用 harness 下的成功轨迹重写成通用 harness 可用的训练数据——Terminal-Bench 2 pass@3 从 57.0% 提到 74.2%。MemoryWalker(arXiv:2609.00865,2026 年 9 月)则指出一个隐蔽问题:生产 harness 的上下文压缩使有效历史变成"树"而非序列,直接线性化做训练会造成时间穿越泄漏——"在真实 harness 里训练"必须连压缩一起建模。三篇合起来,harness 的角色从"训练环境"再进一步:训练期的脚手架,部署时的弃子——这与 meta-harness"工作规则随模型升级删除"的主张形成闭环。

从 Harness 到 Meta-harness:架构的显式化 ​

2026 年春天,Anthropic 的两篇工程长文把 harness 讨论从"技巧"推进到"架构"。它们不是论文,但定义了术语——meta-harness、durable session、brain–hands decoupling,很可能是下一批论文要反复引用的词汇。

长任务 harness 的生成—评估结构(Building a harness for long-running application development,2026 年 3 月)。问题:agent 自主构建完整应用时有两个顽疾——长任务中逐渐跑偏,以及让它评价自己的产出时,它会自信地表扬平庸之作。方法:借鉴 GAN,把生成与验收拆给两个 agent。generator 按 sprint 构建;evaluator 拿着明确评分标准(设计质量、原创性、工艺、功能,各设硬阈值),用 Playwright 实际操作运行中的应用来验收;两者开工前先协商"sprint 契约",把"这段做完长什么样"变成可测试的条目。对照实验很直白:同一句话提示,单 agent 跑 20 分钟花 $9,产出的核心功能是坏的;完整 harness 跑 6 小时花 $200,产出可用。对 harness 的意义:会生成与会验收是两种职责——evaluator 的可信度不来自"再叫一个模型说通过",而来自可检查的评分标准与真实环境里的验收动作。文中另一个反直觉教训:把 harness 一口气砍到极简无法复现性能,只能逐个移除组件做消融,才知道哪些是承重墙。

Managed Agents 与 meta-harness(Managed Agents,2026 年 4 月)。问题升了一层:harness 的每个组件都编码了"模型做不到什么"的假设,而模型升级会让假设过期——Sonnet 4.5 的 context anxiety 需要上下文重置补丁,Opus 4.5 上该行为消失,补丁成了死重。答案借鉴操作系统:为"尚未想到的程序"设计稳定抽象。Managed Agents 把 agent 的三个组件各自虚拟化为接口——session(追加式事件日志,持久保存一切)、harness(调用模型并路由工具调用的循环)、sandbox(执行环境)——实现可互换,接口保持稳定。这套"脑(模型 + harness)、手(sandbox + 工具)、会话(事件日志)"的解耦带来三个直接收益:故障隔离(容器崩溃对 harness 只是一次工具调用错误,新实例 wake(sessionId) 即可从断点恢复);安全边界(凭证放在沙箱外的保险库,模型经代理调用外部服务时从不接触 token);以及 p50 首 token 延迟下降约 60%。文章把这种系统命名为 meta-harness:对"接口的形状"有主见,对"接口后面跑什么 harness"没有主见——Claude Code 是一种 harness,任务专用 harness 也是一种,meta-harness 都装得下。

独立判断

两篇文章合起来,回答的是同一个问题的两面:哪些工作规则应该留下,哪些应该随模型升级被删除。 答案是按信息类型划分,而不是按组件划分——工作状态与证据(session 日志、评分标准、轨迹)值得长期保存;具体的工作方法(上下文重置、sprint 分解这类针对旧模型的补丁)应该设计成可移除的。这与 2026 年 5 月的披露檄文构成有趣的对照:一边在拆 harness,一边在要求披露 harness——共识是 harness 里的每个组件都必须能回答"你为什么还在这里"。

2026 秋季:工业界的 Harness 军备竞赛 ​

2026 年 9–10 月,工业界把上半年的架构概念(meta-harness、durable session、生成—评估)集中产品化,并收敛到几个共同主题。这一节的信息来源全部是厂商一手博客与公告。

规模化监督有了第一组公开指标。 Anthropic Institute 的《Measuring the pace of AI development》(2026 年 9 月)首次披露内部 agent 舰队的治理:截至 2026 年 8 月约 3 万个并发 agent 参与研发;双层监视器(在线实时拦截,约 1/47,000 的动作被拦;离线事后审查,每周约 10 万条 transcript 被标记);并提出三个可跨实验室对比的 oversight 指标——覆盖率、审查延迟、升级率。附录里两个 harness 设计选择值得单独记住:agent 拥有独立身份(不绑定模型、可跨模型升级延续,把其他 agent 的输出视为"待核实的声明"而非自己的想法)与开放通信(agent 间消息全部公开、可遍历通信图)。

"常驻 agent"与"agent 身份"产品化。 OpenAI 在 DevDay 发布 Dots(2026 年 9 月):always-on agent,每个 dot 有自己的云电脑与浏览器,默认只读、发消息与改内容需批准、保存的密码对模型不可见,并预告拥有企业身份的 specialist dots;Google 在 Gemini at Work 发布 coworker agents(2026 年 10 月,官方博客):agent 拥有自己的 Workspace 邮箱、日历、Drive,以自己的身份而非用户的身份行事,并内建跨厂商模型路由(在 Gemini 与 Claude 之间选择);Manus 2.0(2026 年 9 月,官方博客)直接把新架构命名为 harness——Cascade,按需加载能力的渐进式设计带来 token 省 23.2%、成本降 32%,配套事件触发的 Automations 与拥有自己邮箱、电话、钱包的个人 agent 应用 Cue。三家不约而同:durable session 不再只是恢复机制,而成了 agent 的"人格载体"。

大小模型分工成为显式架构。 Cognition 发布 SWE-2 模型与 Fusion harness(2026 年 9 月,Cognition 博客):前沿模型做 lead(规划、歧义解读、审查),廉价模型做 sidekick(探索、实现、跑测试),两者只交换任务简报与结果、各自维护独立上下文以吃满 prompt 缓存,官方称比单模型 harness 便宜约 39%。Anthropic 的 Claude 5.5 家族(2026 年 9–10 月,Sonnet 5.5、Haiku 5.5)走了同构路线:Haiku 5.5 明确定位为 subagent 角色(压缩、摘要、分类),价格约为上代的 1/4。同一份官方发布里还藏着一个罕见的诚实案例:Sonnet 5.5 在高 effort 下会"更频繁地自发运行多 agent 代码审查",曾导致超时或超范围修改——模型行为反噬 harness 的失败模式,值得每个 harness 维护者警惕。

基础设施开始为 agent 重写。 Anthropic 工程博客披露(2026 年 10 月):日合并量从 5 月的约 2,500 次暴涨到 9 月的 30,000+ 次,Claude 写的代码压垮了为人设计的开发基础设施,于是用 5 个月把 monorepo 从 Git 迁到自研的 Scion——设计原则第一条是"客户端永远在线,因为几乎所有客户端都是 agent 和 job"。Vercel 的《State of agent skills》(2026 年 9 月)给出生态规模数据:skills.sh 注册表七个月达到 100 万个 skill、2.8 亿次安装(GitHub 到百万仓库用了 27 个月),其中"教 agent 如何工作"的 workflow 类 skill 占安装量 14.8%——用 agent 改进 agent 已是主流用法而非实验。Cursor 同期的 Rollouts 与 Security Review(2026 年 9 月)——每个 PR 自动生成"监控计划"、逐环境验证部署健康、对每个 PR 报告可利用漏洞——则是生成—评估结构在交付流水线上的完整闭环。

安全研究跟上了架构演进。 两篇值得警惕:《What's in Your Agent's Context?》(arXiv:2609.01222,2026 年 9 月)首次系统分析商用 harness 的上下文组装设计,揭示上下文特权提升攻击——低权限内容经组装管道获得超出预期的影响力;《A Blind Trust, the Bloody Thrust》(arXiv:2609.03884,2026 年 9 月)指出 harness 的生命周期 hook(session start、工具调用等触发的 shell 命令)是一条被盲信的供应链攻击面——hook 以宿主权限运行,且可以在模型不可见时触发。两条攻击面都打在 meta-harness 时代的新接缝上:组装管道与扩展点。

评测:从分数到纪律 ​

2025 年后的评测研究有两条平行线:更难的新基准,和对"分数本身可信度"的系统性拷问。

新基准补上了老基准的盲区:

基准年份测什么关键发现 / 特点
τ²-bench(arXiv:2506.07982)2025双重控制:用户和 agent 都能操作共享环境(客服场景)agent 在用户也会行动时表现显著退化;多次试跑的通过率一致性(pass^k)很低
BrowseComp(arXiv:2504.12516)2025需要持久多跳浏览才能找到的答案,1266 道难题普通模型几乎全军覆没,催生了 deep research 类 agent 的军备竞赛
Terminal-Bench2025真实终端环境中的任务(编译、配置、运维)把评测推进到 coding agent 的主战场——命令行

评测纪律成为独立议题。 Princeton 的 HAL(Holistic Agent Leaderboard)(2025 年)把评测基础设施化:用统一 harness 跑多个基准、公开完整轨迹、披露成本,让任何人审计"这个分数是怎么跑出来的"。Confucius Code Agent(arXiv:2512.10398,2025 年 12 月)用同模型跨 scaffold 的对照实验量化了 harness 的贡献;2026 年 5 月的《Stop Comparing LLM Agents Without Disclosing the Harness》(arXiv:2605.23950)把话说绝:在标准化 scaffold 下重测后,不披露 harness 的 agent 分数不可比较。

本站的阅读建议

读 2025 年后的任何 agent 论文或榜单,先做三次检查:harness 披露了吗?报告的是单次还是 pass^k?失败案例分析了吗?三个里缺两个,数字就只能当广告看。这条纪律同样适用于你自己搭 harness 时的自测,见设计原则。

九条主线合起来看 ​

  • 长时程告诉我们瓶颈在执行可靠性与错误复合,不在单步聪明;
  • 上下文工程与记忆回答"信息怎么进、怎么留";
  • 多智能体的冷水提醒我们:并行化收益必须跑赢协调成本;
  • 自我改进把 harness 变成优化对象,同时抬高了验证设施的地位;
  • 训练内生化更进一步:harness 从部署外壳变成训练环境,骨架的工程质量开始直接塑造模型能力;
  • 架构显式化(meta-harness)把问题再升一层:接口要稳定、实现要可换——状态与证据长期保存,具体工作规则设计成可随模型升级删除;
  • 工业界军备竞赛把概念变成了产品与指标:常驻 agent、agent 身份、大小模型分工、为 agent 重写的基础设施——harness 层正式成为主战场;
  • 评测纪律则给以上全部主张提供了判据。

一个贯穿性的观察:2022–2024 年的论文问"模型能做什么",2025–2026 年的论文问"系统在多长时间尺度上、以什么成本、可被验证地做什么"。研究重心从能力秀变成了工程问责——这本身就是 harness 视角的胜利。

延伸阅读 ​

  • 经典论文精读——本页所有工作的前身:ReAct、Reflexion、MemGPT、SWE-agent
  • 论文地图——按主题组织的完整学术地图
  • 什么是 Agent Harness——Confucius CCA 与 harness 披露檄文的详细解读
  • 上下文工程——Context Rot、recitation、压缩的工程化展开
  • 记忆系统——A-MEM / Mem0 / MemOS 思想的产品形态
  • 子代理——多 agent 热潮下的工程默认值
  • 规划——外化状态对抗多轮迷失的机制分析
  • Skills——自我改进 agent 的技能沉淀在产品中的对应物
  • 可观测性——自我改进时代的验证与审计基础设施
  • 常见陷阱——前沿论文反复印证的工程教训

参考资料 ​