给编码代理增加一项要求，往往很容易写进提示词，却不容易稳定写进模型行为。一个团队可能希望输出更适合审阅、工具调用更符合新协议，同时又不愿牺牲修复代码的成功率。对后训练团队而言，这其实是两个需要分开验收的目标：新行为是否学会，旧能力是否保住。
Cursor Research与UC Berkeley的《Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning》为这个问题提供了一项值得复现的实验。它最适合被视为行为适配方法的研究，而不是编码能力排行榜的新纪录。
论文直接支持哪些结论
Targeted Guidance在模型自己采样的轨迹上，把提示放在失败轮次前，以同权重、带提示的模型作教师。它仅对失败轮次施加逐token的KL蒸馏，并保留各项RL奖励；教师提供概率分布，不必再生成一整条替代轨迹。在经过额外SFT的Qwen3-Coder-30B上，训练期Markdown达标率为0.85±0.09，GRPO对照为0；编码通过率分别为0.33±0.05和0.33±0.07。±表示最后32个训练步的标准差，不是跨种子置信区间。
关键消融显示：持续对所有轮次施加反馈，或去掉对应奖励，可能损伤编码表现；过高蒸馏权重会失稳，纳入思考token可减少指标震荡。验证范围是多轮软件工程中的风格、格式要求，反馈仍需人工设计。原文方法、表1及消融
复现还需对齐训练条件：200 步，每批 32 组、每组 32 条 rollout，任务单 epoch，采用异步 RL。KL 在 trainer 侧按全词表计算，教师分支停止梯度；不重采完整替代轨迹，仍需额外前向计算教师分布，不能理解为零额外计算。训练设置与成本说明 截至核验，在论文与作者官网未见本工作的官方实现、训练权重及完整复现数据的明确公开链接。
这组结果没有建立独立测试集上的非劣效结论。最后若干训练步的波动与面对新题目的泛化不确定性，是不同的问题。把0.33对0.33写成“编码能力无损”，会超出证据。
为什么“会做”与“经常做”应分开测试
理解此类方法，可以先区分两种故障。第一种是模型不知道怎样完成要求；第二种是它在得到明确提醒时会做，正常运行却很少选择这样做。两者可能呈现相同的低达标率，但适合的修复方式未必相同。
GRPO是已有的策略优化方法，最初由DeepSeekMath提出，而非本论文新发明的部分。DeepSeekMath原始论文 提供了算法背景。对工程实践而言，优化器名称之外，更应先问：训练样本究竟提供了足够的成功经验，还是只积累了许多相似的失败？
下面是一个独立的诊断建议，而非论文已经验证的结论：对同一批未参与训练的状态，分别测试普通提示和明确纠错提示。如果后者稳定改善新要求，而且没有伤害代码测试结果，才值得考虑把这种差异用于学习。若加上提示仍然无效，优先投入训练蒸馏未必划算；工具说明、基础能力和反馈内容都可能需要先修复。
还要测试提示的副作用。例如，“请解释你的修改”是否让代理停止实际修改？“先征求批准”是否导致已经获准的任务也不再执行？这些例子是测试设计，不是本论文报告的失败案例。它们提醒我们，行为要求必须明确适用条件，不能只统计某句话有没有出现。
策略分布与奖励监督，承担的是两种责任
这里需要分清“这个动作获得多少分”与“下一步倾向输出什么”。前者是奖励监督，后者是策略分布。按概率分布学习提示带来的变化，并不能自动证明最终行动更正确；一个更容易生成的答案，也可能是一个更流畅的错误答案。反过来，最终评分知道结果不好，也未必能指出哪个局部表达需要修改。
从这个角度理解失败轮次门控，可以得到一项设计上的解释：一个已经合格的轮次，未必在概率分布上与带提示的版本完全相同。继续追逐这种差异，可能只是让模型更像“被提醒之后的自己”，并不对应新增的任务收益。停止这部分学习压力，有助于把优化资源留给尚未满足的要求。这里解释的是机制动机，不能由此推出训练必然收敛。
思考token的作用也需要克制解读。本文的理解是，如果模型先规划、后输出，那么只要求末端答案改变，规划过程却不更新，可能留下内部不一致。将训练信号延伸到规划阶段，有机会让多个要求在生成答案之前共同进入决策。这个解释与观察相容，但不是因果证明；仅凭一段思考文本提到了要求，无法确定它就是表现稳定的原因。可进一步做等token预算、隐藏规划文本和不同推理长度的对照，区分规划变化、额外监督量与长度效应。
怎样设计一场能支持上线决定的复现
以下方案是本文提出的后续验证路径，尚未实施。
先预先规定可以接受的主任务退步幅度。 团队需要在看结果前确定容忍范围。独立测试集中应同时报告新要求达标率、代码任务成功率，以及二者同时满足的比例。只看两个平均值，会遗漏“风格做好了，但恰好失败的是更重要的任务”。
让对照共享相同预算。 对比基线、只加奖励、只加反馈学习以及两者结合时，应固定训练数据、推理预算和调参预算。训练更久、筛选更多提示或尝试更多超参数，都可能使表面上的算法优势混入额外投入。另行报告实际耗时和显存，比只计训练步数更有助于采购与部署判断。
把任务难度与行为复杂度拆开。 可以先从机器可判定的参数格式开始，再加入需要语义判断的表达规范，最后测试与任务执行存在冲突的要求。每档都换用未见过的任务与仓库，观察收益究竟来自记住格式，还是迁移到新环境的行为控制。
加入有意不完美的反馈。 用正确提示、无关提示和少量错误提示组成压力测试，评估系统对反馈质量的敏感度。反馈提供者也可能犯错；如果一种方法只在几乎完美的判定下稳定，就应将这一前提计入部署成本。
用多个随机种子和独立题目估计不确定性。 重复训练反映训练过程的可重复性；独立测试题目反映任务分布的不确定性。两者应分别展示。对共享仓库或相似任务，还需避免将高度相关的样本当作完全独立观察。
适用边界比一个更高的达标率更重要
这条路线最值得优先尝试的地方，是目标具体、失败可定位、纠错容易验证的训练需求。若要求本身含糊，或者满足要求可能妨碍任务完成，就应先整理评估标准。否则，训练只能更努力地追逐一个尚未定义清楚的目标。
也不能把行为学习当成权限控制。涉及外发、删除、付款等动作的产品边界，仍应由执行层明确检查；模型更善于遵守指令，不等于系统已经获得安全保证。这是部署建议，不是论文的安全实验结论。
这项研究值得关注的问题是：能否用有限、可验证的纠错，降低行为适配对主任务的干扰？下一步最有说服力的证据，将是跨模型、跨任务的独立复现，以及事先约定的主任务验收标准。
公开时间说明
本文解读版本为arXiv v1。它位于官方11月4日公告批次；依照官方公告规则，对应美东11月3日20:00，即UTC 11月4日01:00。该时刻由批次与规则推定；摘要页的11月3日17:54:33 UTC是投稿时间。
截至UTC 11月4日21:37，核查Cursor博客、Kevin Frans主页、论文目录及相关公开搜索，未找到更早的同项研究稿件。未检索到不等于绝对不存在，但目前可核实的首次公开证据落在本次24小时窗口内。
公开来源
本文仅供信息参考，详情请见免责声明。
← 继续阅读更多内容