把 290B 的 MoE 塞进游戏本：Berkeley 开源 FreeToken 的"带宽自适应"思路

引言

大模型的开源权重越来越强，但"能下载"不等于"能跑起来"。UC Berkeley Sky Computing 实验室开源的 FreeToken 试图把个人电脑的 GPU、CPU、内存和 PCIe 当作一个"弹性推理平台"。该项目近日再登 GitHub 趋势榜（论文 8 月 17 日上传 arXiv，并非新发布）。

为什么 MoE 适合"边缘"，又为什么难

MoE 每个 token 只激活一小部分专家，计算量不大，但全部专家权重都得存放某处。数据中心靠 NVLink 掩盖搬运开销；个人电脑只有 PCIe。传统静态卸载在缓存未命中时让 GPU 干等，PCIe 带宽成为瓶颈。

FreeToken 的三个关键设计

1. 带宽自适应 CPU–GPU 协同（q 策略）。* 专家不在显存时，可通过 PCIe 搬到 GPU，或直接在 CPU 上算。FreeToken 按实时互联吞吐分配计算，而非固定卸载方案。

2. 整层双缓冲预填充。 第 N+1 层的专家拷贝与第 N 层计算并行，单块耗时约等于 max(拷贝, 计算)。另有全局 LRU 专家缓存和 FTW 权重格式。

3. 面向智能体的语义感知缓存。 为循环状态和 KV 缓存设置"语义锚点检查点"，工具调用、思考块等上下文编辑无需重算整段上下文。

实际影响与需要冷静的地方

据仓库介绍，项目采用 Apache-2.0，兼容 OpenAI 与 Anthropic API，支持 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等，可跑在 RTX 30/40/50 显卡上。第三方文章（据报道）称 35B MoE 在 8GB 显卡上约 39 tokens/s，属二手数据；290B 级表现目前主要是论文结果，适合交互式 agent 循环，不适合团队服务。

结语

本地 AI 的瓶颈是异构资源的平衡，而非单一算力。下一步值得关注社区能否在真实硬件上公布可复现的 tokens/s。