Simon Willison 独立复现「权重空间编程」：笔记本上的 Qwen3.8 27B 无工具读权重，46 分钟认出 Pac

北京时间 11 月 4 日凌晨（11 月 3 日 16:31 UTC），Datasette 创建者、Django 联合创建者 Simon Willison 发推宣布，他独立复现了 11 月 2 日「权重空间编程」博文中的「无工具读权重」声明：不给任何工具，只把神经网络权重当浮点数喂进上下文，模型能说出一个策略网络受训玩的是什么游戏。他用的不是原博文里的 GPT-6 Astra，而是自己笔记本上跑的 Qwen3.8 27B——博文记录了精确数字：46 分 12 秒、43,506 个推理 token（reasoning tokens，模型思考过程消耗的 token）之后，这个 17GB 的量化模型仅凭原始权重认出了 Pac-Man 策略网络；经 OpenRouter 调用的 Kimi K3.1 Pro 在 Breakout 上只用了 9 分 41 秒。

四个游戏里，Qwen3.8 27B 认对了三个，在 Freeway 上失败。Willison 同时在博文里转述了对原研究的两项批评，并给自己的复现划了边界：单人、单次、非正式。

「权重空间编程」（Weight-Space Programming）出自 11 月 2 日的博文《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》，作者是 MIT CSAIL 一年级博士生 Rikiya Takehi（师从 Omar Khattab）与 Jayden Teoh、Alex Zhang、Omar Khattab。博文自报：GPT-6 Astra 直接改写 Qwen3.5-0.8B 的 0.016% 权重、不做梯度训练，把 MATH-500 从 7.9% 提到 48.1%，IFEval 指令遵循从 21.0% 升到 62.3%；博文结尾提到，Hugging Face 的 Ahsen Khaliq 已按其公开日志重建改写后的权重并复跑评测。Willison 这次考的是另一项：只读，不改。

原博文头图：READ、FIX、IMPROVE 三组自报结果，左栏为无工具读权重认出 Breakout，右栏为 MATH-500 从 7.9% 到 48.1%

原博文头图列出的三组结果：左栏 READ 对应的无工具认游戏实验，正是 Willison 这次复现的对象；右栏 IMPROVE 是改写 Qwen3.5-0.8B 权重的头条结果。

提示词是论文自己公开的，四个网络架构完全相同
Willison 复现的是原博文的实验 1。Takehi 等人用 PPO（Proximal Policy Optimization，常用的强化学习算法）训练了四个策略网络，分别玩 Breakout、Pong、Pac-Man 和 Freeway 的网格版：都在同一个 10×10 网格上行动，输入同样 5 个通道（智能体、移动物体、奖励目标、障碍、上一帧），输出同样 5 个动作（不动、上、下、左、右），架构同样是 500→32→32→5 的 MLP（多层感知机）、共 17,253 个权重，各训 10 亿步、每局取 3 个随机种子里最好的一个。按原博文自报，在不告知候选游戏列表的情况下，Astra 四个全部答对。

提示词发布在论文配套的 GitHub 仓库 RikiyaT/lm_understand-logs 的 exp1_which_game 目录里，每个游戏一个 prompt.txt。Willison 检查过：除了权重，四个提示词完全一致。提示词写道（转引自他的博文）：「下面的权重属于一个策略网络，它经过强化学习训练、在这个网格上玩游戏。它训练来玩的是哪个游戏？请从权重本身出发。你没有任何工具：不能执行代码、没有计算器、没有任何可以运行的东西。这是一次单独的回答。」

复现路径并不复杂。Willison 用自己的开源 LLM 命令行工具加 -f 参数，把提示词文件的 URL 直接作为输入。Kimi K3.1 Pro 那一路经 OpenRouter 完成；Qwen3.8 27B 则在他的本地工具链里跑：LM Studio 加载 17GB 的 Q4_K_M 量化版，默认 8192 的上下文窗口直接报错，必须换成长上下文，超时也要用环境变量调高——一次 Pac-Man 推理跑了 40 多分钟。

三局答对、一局翻车，推理轨迹几乎无法读懂
在 Pac-Man 一局里，Qwen3.8 27B 的回答把目标网络描述为「一个简化的 Pac-Man 式网格世界」：固定迷宫、中央和角落有墙块、有移动的幽灵和奖励目标，置信度 72%。完整的回答和推理轨迹，Willison 贴在了 gist 上。

另外两局也答对了。Pong 用时 1 小时 4 分 54 秒，置信度 75%，答出「右侧球拍上下移动、拦截或回击来球」；Breakout 用时 52 分 25 秒，置信度 88%，答出「Breakout，或类 Arkanoid 的球拍/球/砖块游戏」。Freeway 失败：Qwen 把它认成「一个简化的 Pac-Man 式网格游戏：智能体四向移动」，失败记录同样公开。Willison 说他不意外——Freeway 是 1981 年的 Atari 2600 游戏，比另外三个冷门得多，他自己都得先查一下这是什么游戏。

Kimi K3.1 Pro 那一路跑的是 Breakout 提示词，19,493 个推理 token 后答对，回答同样可查。

Willison 还贴出了一段推理轨迹：「那 agent 通道 0 呢？我们在第 8 行第 7、8 列附近看到一些较大的 channel 0 值……输入 435（第 8 行第 7 列 ch0）：-2.107, 1.169, 0.513……」整段充满这种下标算术。Willison 的评价是：有趣，但几乎无法读懂；他预计一个经验足够丰富的人，配上记事本和铅笔、花上足够时间，也能推到同样的结果。

这条推文本身的传播量也可量化：截至 11 月 3 日 18:40 UTC 前后的检索，它获得约 1,650 个赞、7.6 万次浏览。推文原话（译文）：「有篇很热闹的新论文，说 GPT-6 Astra 能直接解读模型权重（提示词里全是浮点数）——我在笔记本上用 Qwen3.8 27B 试了试，发现 45 分钟后，这个模型也能做到同样的事。」

批评者：「无工具读权重」和「用 Python 改权重」被混在了一起
Willison 自己的开场就划了这条线：论文把两个值得分开对待的话题放进了同一篇——不带工具时，模型能对原始权重做什么；以及模型拿到代码后，能怎样更新、改进另一个模型。他选择只测前者，而两项被转述的批评，针对的正是这个混排。

spaCy 作者 Matthew Honnibal 在同题博文里称这篇论文「有误导性」。他逐个实验整理后发现：「原始浮点数进上下文、无工具、不运行网络」的设定只出现在实验 1、2、4，而那三个实验的网络只有 1.7 万～17 万个权重；所有涉及真实语言模型的实验都用了 Python，作为头条的 Qwen 结果还能对模型跑最多 50 个批次的前向传播。在他看来，「Qwen 实验真正说明的是：Astra 能被提示着去设计并执行人类机器学习工程师本来就会做的任务」，而这两类实验「不该出现在同一篇博文或论文里」。他也承认，找到高效完成这些任务的办法并非一文不值——一两年前的模型在这些任务上都会失败。

Sean Goedecke 11 月 3 日的博文标题就是《LLM 在读写神经网络权重上并非超人》，他的理由落在第一层权重上：这些网络的输入通道是带标签的（智能体、移动物体……），每个格子受多大关注，三行 Python 算 L2 范数（向量长度）就能画成热力图，凭玩家和移动物体的位置就能认出大半游戏。

Sean Goedecke 制作的第一层权重热力图：四行依次为 Breakout、Pong、Pac-Man、Freeway，五列为五个输入通道；Breakout 行的智能体通道亮在底行，Pac-Man 行显出迷宫轮廓

按他的说法，Astra 不跑代码、心算出这组范数，「很巧，但没那么惊人——这是超人的心算，不是超人的 AI 研究」。至于 Qwen 修复实验，他认为 Qwen 不是「数学差」，而是会在 32k token 处陷入循环，修补循环有现成套路：比较会循环与不会循环的文本、算出贡献最大的权重、削减再测试——「Astra 做的恰恰是这个」，「一个胜任的人类研究者能做到、也会去做」。他把直接改权重类比成让 LLM 输出机器码、微调编译后的二进制：处理二进制最好的方式仍是写源码再编译，更新权重最好的方式仍是正常训练。

已被复现的，和仍待验证的
截至 11 月 3 日，这件事的证据状态如下：按 Willison 的单次结果，「无工具读权重」至少部分走出了原博文——它不再只属于 GPT-6 Astra。一台笔记本电脑上的开源 27B 模型不给任何工具也认对了四个游戏里的三个，一个经 API 调用的第三方模型在 Breakout 上同样答对；Willison 自己提醒，这只是非正式尝试，每个提示词只跑了一次。仍待验证的部分同样具体：作为原博文头条的权重编辑结果——改 0.016% 权重、MATH-500 从 7.9% 到 48.1%——不在这次复现范围内。

Takehi 等人在博文结尾给出了他们自己的下一步：构建评测 LLM 权重空间编程能力的基准与 harness——harness 指围绕模型搭建的配套运行环境。用他们的话说，这个基准要把「目前看起来像黑魔法的东西」变成「一个严格、可复现的工程学科」。而 Willison 在博文结尾的表态是：「这是一篇很酷的论文，但我看到的一些外围评论并不成立。我还没准备好宣布源代码的时代已经结束、我们的未来是机器用不可读的方式改写自身权重。」