先说结论：最有说服力的是“找到故障并修复”，不是替代训练

2026 年 11 月 2 日，Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 发布研究博客 Sparks of Weight-Space Programming。本文依据该博客、公开实验记录和模型卡解读，不把它称为已经确认发表的正式同行评议论文；本文也没有独立运行实验。

作者把一种工作方式称为 Weight-Space Programming（权重空间编程）：让通用 LLM 根据自然语言目标，直接分析、生成或修改另一个网络的权重，而不是仅仅编写训练脚本、再由优化器完成参数更新。

其中最醒目的结果来自 Qwen3.5-0.8B：在相同评测设置下，50 次前向调用预算的编辑结果使 MATH-500 从 7.9% 上升到 48.1%。但核心机制是缓解严重的推理循环，让模型更常在长度上限之前给出答案。这支持“有针对性的参数编辑能够解除行为障碍”，尚不足以证明 LLM 能普遍给模型注入原本没有的推理能力。

一、这里的“直接读写”到底是什么

要分清三个概念：

  • 不是不改参数。 最终交付物就是被修改的权重；参数结构基本不变，不代表参数值不变。
  • 不是所有实验都无数据、无反馈。 有些小网络实验只给权重文本；Qwen 实验则提供练习题、答案、激活与生成反馈，允许多轮试探。
  • “没有训练”有特定实验定义。 规则禁止反向传播、自动微分、优化器及针对损失迭代拟合权重，但仍允许依据前向结果选择和修订编辑。这不等于零搜索成本，也不等于无监督信息。

在小网络场景，LLM 可以从输入空间布局、输出动作以及矩阵的空间结构推断功能。在大模型场景，全部权重无法直接装进上下文，LLM 通过 Python 工具读取张量、做统计分析并保存修改。更准确的理解是：LLM 提出诊断假设，用工具检验，再实施结构化干预。

二、博客展示了哪些证据，又有哪些反例

博客将实验分成读、修、写几类。它们的可见信息与成功条件不同，不能合并成“只看任意模型权重就能读懂一切”。

场景 允许的信息或工具 能支持的判断与边界
判断游戏策略网络的任务 同一架构的约 1.7 万个权重文本，以及输入通道和动作含义 作者报告四个游戏均被识别；输入与输出的语义说明本身也是重要信息
识别简单图形生成器 三个小型扩散网络的权重，不允许运行前向 能辨认形状，但将实心图形解释成轮廓，说明“读结构”不等于完整还原行为
判断小语言模型的训练语言 去掉输入、输出层，分析中间权重，可用 Python 但不运行网络 展示了利用内部结构作判断的可能性，样本仍少且任务受控
区分谄媚与诚实模型 最初只给两份权重；之后增加注意力观测 仅权重的四次尝试失败；看到自拟文本上的注意力后才成功，直接限制了“免评测审计”的强主张
编辑 Qwen 与 Gemma 数学行为 权重、练习集、受预算约束的前向反馈 Qwen 有显著循环修复；Gemma 未出现可靠的能力提升

围棋实验还展示了把启发式策略写进神经网络：在固定 9×9 规则和架构下，先用层级计算表达气、吃子与保全棋块等规则，再利用允许的对局反馈修改。它值得看作“把可描述算法映射进网络”的案例，而不是对开放式任务普遍胜过强化学习的证据。不同预算、对手和网络大小必须分别比较，不能拿其中一个胜率结论替代完整基准。

三、Qwen 实验真正做了什么

依据实验 8 README，编辑器为通过 Codex CLI 调用的 Astra（记录标识为 gpt-6-astra），目标是 Qwen3.5-0.8B 的文本部分，开启 thinking。这里转述的是作者的实验配置，不是本文对模型能力的独立认证。

编辑器获得：

  1. 一个可读写权重的 CPU Python 内核，不能在其中自行运行目标模型；
  2. GSM8K train 的 7,469 道练习题、MATH train 的 7,275 道练习题，以及文档列出的 AIME 练习材料；
  3. 10、25 或 50 次受控前向调用预算，可观察生成结果或 teacher-forced 内部信息。

这里的 50 次不是 50 道题，也不是单条序列的 50 次矩阵前向。一次生成调用最多处理 512 道练习题；原模型与编辑模型成对比较时各 256 道。一次 teacher-forced 调用可读取最多 1,024 段文本。把它表述成“只试了 50 个样本”会严重低估信息与计算预算。作者说明最终评测集不向编辑器开放。

在 50 次预算运行中，编辑器从首批练习输出发现大量重复：96 个答案中有 85 个触及 32,768 token 上限。它把问题定位到第 15、19 层 MLP 写入的循环相关方向，并对每层各 64 个 down_proj 输出列实施稀疏低秩干预。最终实验报告给出的形式是 W′ = W₀ − 6 · outer(u, mask64 ⊙ (uᵀW₀))：u 为该层的单位循环方向，掩码选择 64 列，干预系数为 6。它不是系数为 1 的标准正交投影删除。

这些位置合计为 2 × 64 × 1,024 = 131,072 个参数位置，约占模型的 0.016%。这不是 131,072 个新增参数。实验记录还说明，转成评测用 bfloat16 后，实际数值与原始权重不同的元素为 130,188 个；“触及的位置”与“舍入后发生变化的元素”是两个口径。

这种干预有选择地改变某些神经元向残差流写出的方向分量，但不是证明这条方向只控制循环。高维表示可能复用同一方向，因此因果解释和副作用仍需额外检验。

四、分数提升很大，但首先应和“是否能结束”一起读

下表来自作者公开评测记录。各预算对应不同运行和最终编辑，不是一条连续训练曲线。

Qwen3.5-0.8B MATH-500 GSM8K IFEval MATH-500 触及长度上限
原始权重 7.9% 13.8% 21.0% 93.0%
10 次预算 12.3% 25.7% 49.0% 87.2%
25 次预算 14.1% 25.1% 39.9% 86.4%
50 次预算 48.1% 67.1% 62.3% 33.1%

评测启用 thinking，最多生成 32,768 个新 token；温度 0.6、top-p 0.95、top-k 20、presence penalty 1.5。MATH-500 每题取 4 个样本，GSM8K 和 IFEval 每题 2 个样本，报告样本平均准确率，而不是“多次尝试只要成功一次”的 pass@k。

MATH-500 提升 40.2 个百分点的同时，截断比例下降 59.9 个百分点。这与解除循环障碍的解释一致，IFEval 的提升也提示修改影响到数学之外的行为。可是，更多输出能够完成，不等于剩余推理错误也被解决；50 次预算的成品仍有 33.1% 的 MATH-500 回答撞上长度上限。

此外，长度上限命中是循环问题的重要观察指标，却不在逻辑上等于循环本身：正常但很长的推理也可能被截断。更完整的检验应分别统计重复模式、正常完成、答案正确与长度分布。

五、最重要的基线缺口：能否只调推理设置就获得相近收益

Qwen 官方模型卡已经警告，0.8B 模型在 thinking 模式下较容易陷入循环。该卡对 文本 thinking 推荐温度 1.0；博客实验采用 0.6。其他相关设置也应按任务逐项核对，不能把所有 thinking 配置视为同一协议。

这不使“相同设置下编辑前后显著改善”自动失效：配对设置回答的是编辑在该条件下有没有帮助。但它没有充分回答另一个更实际的问题：

相比认真调过采样、惩罚和长度预算的原模型，直接编辑权重是否仍有不可替代的收益？

需要补充的对照至少包括：官方推荐设置、合理的采样与重复控制参数扫描，以及在不同长度预算下的原模型与编辑模型。若大部分收益可以通过更便宜的配置调整获得，权重编辑的经济价值会不同；若修复跨设置依然稳定，证据才更强。

同样，小比例参数变化不代表小行为变化。应检查普通对话、代码、多语言、长上下文和结构化输出，不能从少数基准上涨推出“没有遗忘或副作用”。

六、Gemma 负结果为什么比宣传语更有价值

Gemma 后续实验选择了较少循环的 Gemma 3 270M IT：原始模型 MATH-500 仅 8.5% 的回答触及长度上限。其主要问题是算术错误和无效代数步骤，而不是一个明显阻塞答案完成的循环机制。

在该实验使用的格式宽容评分下，原始分数为 6.8%；5、10、25、50 次预算后的分数分别为 7.0%、7.6%、7.7%、7.0%，没有建立可靠的大幅提升。评分在没有 boxed 答案时还会使用其他答案提取方式；因此这些分数不能和 Qwen 的严格 boxed 协议直接横向比较。

这个负结果支持一个更克制的工作假设：定点编辑目前更像排除某种可定位故障，而不是通用的能力学习算法。 它并不证明未来永远无法提升能力，但足以阻止把 Qwen 个案扩写成“无需训练就能全面增强模型”。

七、公开成品可重测，不等于发现过程已经完整复现

编辑模型卡记录了一次由 akhaliq 使用 ML Intern 完成的重建与重测：根据公开差分重建并校验权重，在 H200 上运行完整 MATH-500、500 题 × 4 样本，得到 51.0% 准确率、31.6% 长度上限命中率。卡中报告约 4,340 万生成 token、51 分钟，并说明使用了完整多模态发布版而非原实验文本导出，语言模型张量已做哈希校验。

这增加了成品权重效果可重测的可信度，但有两个限制：

  • 原始模型在这次重测中只有 25 题 smoke test，不是同次完整 500 题配对基线；
  • 从公开差分恢复模型，不等于让编辑器从头重新发现同一修复。后者还需要控制随机性、工具、提示、预算和重启行为。

实验 README也说明，部分大型工作目录和 agent harness 代码未包含在公开材料中。因此应区分“权重可重建”“评测可重跑”“发现过程可再现”三个层次，不能一句“已复现”全部带过。

成本也不能只数 50 次调用：50 次预算运行经历 158 个回合、80 次 Python 执行、4 段对话，日志墙钟约 20.3 小时，其中包含一次约 4.7 小时的服务不可达等待。这个数字既不是纯 GPU 时间，也不是一个经过优化的生产成本基准。真正的成本评估还需编辑器 token、目标模型生成量、硬件占用及失败重试。

八、工程上如何利用：先做 checkpoint 诊断，而非许诺硬件加速

以下是本文的工程推断，不是作者已验证的部署结果。

对推理系统团队，一个可执行方向是建立“失败样例 → 内部诊断 → 候选权重修改 → 全面回归”的闭环。编辑器提出假设，系统保存可审查的参数差分和哈希，评测器独立决定是否接受；未通过回归的修改不能直接进入生产。

若考虑昇腾等不同加速器环境，首先应确认模型结构、张量映射、精度、聊天模板和采样语义一致，再验证修改后的 checkpoint 能否正确加载及运行。本研究没有提供昇腾上的吞吐、延迟或精度结果，也没有证明这种编辑天然对任何硬件加速。

如果减少无效循环，端到端生成量可能下降，但收益必须实测：至少报告正确率、完成率、重复率、生成长度、首 token 时延、逐 token 时延及总算力成本，并分开比较原模型调参、权重编辑和两者组合。不能因为矩阵尺寸未变就说毫无系统影响，也不能因为输出更短就宣称底层算子更快。

最终判断应当是：权重空间编程已提供值得认真研究的诊断与干预案例；距离通用、低成本、可靠的“用语言给神经网络编程”，仍缺更强基线、更广任务、多次独立运行和端到端复现。 Qwen 的成功与 Gemma 的失败放在一起，才是这项研究真正有用的边界。

公开来源

权重编辑可解释性推理模型评估

本文仅供信息参考，详情请见免责声明。

← 继续阅读更多内容