大家好,我是为什么叫QQ2026年10月,Google Cloud AI Research和西北大学放出一篇论文他们没训练任何模型,没动一行权重只是让agent自己改自己的配置文件GLM5在Workbodybench上的分数从64.2涨到75.7涨了11.5分更有意思的是,这个分数超过了用原始配置的Gemini 3.5 Flash一个更弱的模型靠着一套更好的外围配置打赢了更强的模型这期视频我们把这篇论文讲清楚它对每个在用AI写代码干活的人都有直接关系你可能会问,这怎么可能我们默认的认知是,agent强不强看模型Cloud出新版了,赶紧换GPT升级了,赶紧换Gemini降价了,赶紧切但这篇论文说你天天在用的模型外面还包着一层东西,这层东西叫Harness它对最终表现的影响大到可以抹平模型之间的代差问题就来了如果这层东西这么重要我们每天在它上面花了多少时间还是说,我们只是在用厂商给的默认值这个默认配置可能正在悄悄拖住你的agentHarness这个词直译是马具缰绳马鞍那一套在agent领域,它指模型外面那层运行时缴手架论文把它拆成8个组件每个组件就是一个真实文件系统提示词,systempropt.md忽兰guardreels.md长期记忆一份markdown技能skills目录下的skill.md工具说明,tool.guidance.md脚本一堆python文件紫代理定义外加一个typescript中间键插件你写过cloud.md的话已经在手工做harness工程了论文给了一个公式agent等于模型加harness模型是冻结的harness是可编辑的harness平方的核心是两层地规第一层叫任务级地规agent先用当前配置跑一遍任务留下执行轨迹然后一个编辑器模型出场论文里默认用cloudopus 4.8他读轨记忆提两个修改后选一个管通用毛病比如规划和工具调用一个管领域问题比如这个行业特有的规矩两个后选都在同一个任务上斟跑一遍对比行为差异再把有证据支持的改动合并成新配置提议探测组合三步走完当前任务的harness就升级了你觉得让AI改AI的配置算不算一种危险操作把你的看法打在公屏上关键来了真实工作里没有单元测试告诉你对错写一份法律备忘录做一份数据对账谁知道标准答案harness平方的办法是对比他不知道哪个输出是对的但他能看出加了这条护栏之后agent的行为变了文件开始回读检查的数字开始跨表对账了行为对比替代了答案验证论文说得很坦白这种证据有局限执行有随机性模型有自己的偏好所以每个改动都要绑定一条具体观察凭证据合并凭感觉的疑虑不要这套机制是整套系统能在开放环境里转起来的前提第二层叫改进级地规也是名字里那个平方的来源任务做完系统回头复盘整个修改过程哪条改动有用在什么条件下有用证据是什么这些经验写成一条条记录存进一个经验库每个条目都带着一份可执行的harness和一份experiencemd下一个任务来了改进过程会参考这个库也就是说改harness这件事本身也在被持续改进第一层地规让agent会做今天的任务第二层让他越来越会改自己论文还验证了一点jobbench上赞出来的经验库拿去辅助workbodybench的改进照样能涨分经验可以跨人物迁移预算够的话地规有两个方向并行地规同时探多个候选横向探索然后开多个组合绘画各自合并出候选配置顺序地规把改好的harness带进下一轮纵向迭代参数K控制预算K等于5的时候并行地规在workbodybench上又多拿了2.9到3.9分jobbench多拿3.0到4.2分LAB多拿2.6到6.7个百分点论文还测了算力账把改进过程花的所有token都算上harness平方的两个配置都落在帕利托前沿上离线搜索的meta harness花了更多算力分数反而更低看数据三个基准workbodybenchjobbenchharvey的法律基准LAB四种模型和harness组合每个配置跑三遍取平均只跑一步改进GLM5配opencodeworkbody平均分从64.2到75.7涨11.5分詹姆南3.5Flash从72.4到77.5涨5.1分jobbench涨4.5分LAB的部分通过率涨11.8个百分点分数涨了活还干得更快Gemini的平均执行部数从25.4降到21.9消融实验也做了拿掉经验库掉3.1分拿掉候选的范围划分掉2.9分拿掉组合机制掉1.6分每个零件都在干活但这里有个很关键的地方改进后的GLM575.7分原始配置下的Gemini 3.5Flash72.4分弱模型配好harness打赢了强模型的原装状态论文原话很直接一个较弱的执行模型配上改进的harness可以超过代原始harness的更强模型这对你选行的启发很实际如果你团队的预算有限与其追最新模型不如先把harness工程做扎实同样的思路换个模型也成立论文补理组实验编辑和执行用同一个模型GLM5OPUS 4.8OPUS 5全都有提升这条路线不挑模型这个判断你同意吗模型重要还是配置重要评论区肯定吵得起来把你的立场打在公屏上看个具体案例jobbench里有个任务把排期人员预算文件对账成一套交付物原始agent拿了43.1分毛病很典型数字从来不夸文件核对写完的文件从来不回读改进后的harness加了四样东西一条护栏写完必须用脚本重新打开每个铲除文件一个对账技能一段工具说明单元格里的数字常带美元符号和逗号算之前先清洗一个胶验脚本重跑77.8分涨了34.7分你仔细看这四样改动没有一件是高深技术全是工程师加班烫出来的经验只不过这次写经验的是agent自己很多人会觉得agent的竞争力全在模型提示词和配置只是临时凑合这两篇论文给了相反的证据CMU9月发了harness learning走了另一条路用强化学习把修改harness的能力直接迅进一个4B小模型结果在21个没见过的任务家族上平均分0.62超过他35B教师的0.56Google这篇把经验存在模型外部的文件和库里一个往参数里训一个往文件里存两条路只相同一个判断模型冻结能力照样能长harness是可以积累的工程资产看到这里你可能会想这跟我有什么关系三件事可以直接上手第一把你写的cloud.md技能文件校验脚本当代码资产管境git写changerlog定期review别再随手改了扔在那第二件自己的经验库每次agent干活翻车别指顺手改句提示词把翻车原因修复方法生效条件写成一条可复用的记录第三验证比生成值钱刚才那个案例里涨分最多的是护栏和校验脚本全是检查类改动还有一个工程细节值得学经验库里的每条经验都带着适用条件和证据记录你以后写经验也照这个格式来别只写一句结论以后拉开差距的可能就是你积累了多少条经过验证的harness经验别急着上头这套东西有明确的坑第一要钱每个候选都要真跑一遍推理成本成倍涨论文只在一个有限的预算区间里测了这笔账最后预算怎么分配还没有答案第二行为对比不等于答案正确执行有随机性错误的经验也会进库而且库里还没有过期淘汰和冲突合并机制第三屏测卫生官方getup写得很清楚执行器网络不受限Codex的杀箱是关掉的公开基准的评分规则文件可能被访问到他们自己承认一次Codex验证运行就碰到The Job Bench的评分规则你要复现先把评分数据隔离掉诚实是诚实用的时候得小心总结一下Agent等于模型加Harness模型你说了不算Harness你全权负责Harness平方证明了一件事这层你天天随手呼的配置可以被系统的改进验证和积累而且效果能反超一个更强的模型简句就一句模型是租来的Harness是自己的留个问题你现在给Agent写的那些配置文件是随手呼的草稿还是当资产在经营评论区聊聊你的做法感谢观看如果你觉得有收获一键三连我是为什么叫QQ我们下期见