1.7B 参数、1GB 内存：Liquid AI 的 LFM3 用卷积+注意力三混合架构押注端侧智能体

引言

当大家还在比拼万亿参数的时候，Liquid AI 在 10 月 27 日发布了反方向的答案：LFM3，一个建立在同一骨干上的六模型开源权重家族，覆盖文本、视觉、音频、全模态和“决策”任务，全部在 2B 参数量级，单张 GPU 即可微调，4-bit 量化后文本模型只需约 1GB 内存。它最值得看的不是榜单，而是架构：为端侧智能体重新设计的“三混合”骨干。

三混合骨干：卷积、滑窗注意力、全局注意力

LFM3-1.7B-Base 共 24 层，由三种算子搭成：13 层门控短卷积（卷积核由 LFM2 的 3 增至 7）、5 层滑动窗口注意力（窗口 256 token）、6 层全局注意力。直觉很简单：短程依赖交给便宜的卷积和滑窗，只在少数层做昂贵的全局注意力，长上下文时 KV 缓存和计算量都大幅下降。

此外还有几处细节改动：

• 分头门控注意力：每个头的输出乘一个 sigmoid 门，没话可说的头可以“关掉”，官方称这有助于抑制影响量化的激活离群值；
• 部分 RoPE：全局注意力层只旋转高频的一半维度，另一半做与距离无关的内容匹配；
• 三明治归一化：每个块对输入和输出都做归一化。

架构由“硬件在环”的架构搜索得出：搜索覆盖 14 种设备/后端组合，从手机、树莓派 5 到笔记本、云 CPU、GPU 和高通 Hexagon NPU。延迟是在真实硬件上测出来的，而不是靠 FLOPs 估算。训练上，基座预训练 22T token，最后 3.5T 为增加了智能体轨迹和工具调用比例的中期训练，同时把上下文扩到 256K。

一个骨干，六个模型

所有模型都从 LFM3-1.7B-Base 分叉：文本的 LFM3-1.7B、支持视频输入的 LFM3-VL-2B、语音进出的 LFM3-Audio-2B、首个全模态的 LFM3-Omni-2B，以及两个“决策”模型 d1-2B 和 d1-omni-2B。

两个有意思的点：

1. 自研编码器：视觉编码器 164M 参数，官方称相比前代使用的 SigLIP2 编码器算力降至约 1/3；音频编码器全因果，可边听边预填充，首 token 延迟低至 50ms。
2. d1 决策模型：不生成文本，而是给定一个情境和一组问题，一次前向传播就为每个问题输出带校准概率的答案。对工单分流、单据审核这类“只要判断”的场景，比让大模型写一段话再解析要快且稳。

数字怎么看

据 Liquid 官方博客，LFM3-1.7B 以少 35% 的参数超过上一代 LFM2.5-2.6B；LFM3-VL-2B 在 62 项视觉基准上的平均分从 57.6 升至 71.4，与大六倍多的 Gemma 4 12B 相当。MarkTechPost 转述的自测结果显示，LFM3-1.7B 在 WebArena-Verified 得 38.42（Qwen3.5-9B 为 28.94），BFCL V4 得 71.39（对 62.83）。

但短板同样清楚：GPQA Diamond 63.37 对 80.40，SWE-bench Verified 43.40 对 51.20，RULER 128K 65.56 对 87.11。这些都是 Liquid 自己的评测，需要独立复现。许可方面，LFM Open License v1.0 在年收入 1000 万美元以下可免费商用，并非 Apache 2.0。

为什么重要

端侧智能体的瓶颈不是“够不够聪明”，而是内存、延迟和隐私。LFM3 的思路是：不追求通用百科，而是做一个小而稳的“工具调用与流程执行者”，再用单卡微调把它变成你业务里的专家。这条路线能否成立，取决于社区能否复现这些智能体基准，以及小模型在真实长任务中的稳健性。

结语

LFM3 提醒我们：模型竞赛不只有“更大”这一条轴。把算子组合、硬件搜索和后训练数据一起为目标设备设计，2B 级模型也能在智能体任务上越级挑战。下一步值得关注第三方复现，以及它在手机和机器人上的真实表现。

参考来源

• Liquid AI：Build specialized multimodal models with LFM3（2026-10-27）huggingface.co/blog/LiquidAI/lf…
• MarkTechPost：Liquid AI Releases LFM3（2026-10-27）marktechpost.com/2026/10/27/liq…
• LFM3 模型集合 huggingface.co/collections/Liqu…