BMSFormer：结合局部-全局融合注意力与多尺度深度可分离卷积的锂电池SOH估计架构

在论文《BMSFormer: An efficient deep learning model for online state-of-health estimation of lithium-ion batteries under high-frequency early SOC data with strong correlated single health indicator》（发表于 Energy, 2024）中，研究团队提出了一种用于锂离子电池健康状态（State of Health, SOH）在线估计的深度学习模型 BMSFormer。该研究针对传统Transformer在长序列时序数据建模中计算复杂度较高，以及标准线性注意力机制表征能力不足的问题，通过设计局部-全局融合注意力机制与多尺度深度可分离卷积模块，在保持全局时序依赖建模能力的同时降低了计算负载。

一、整体估计流程与高相关性健康因子提取

BMSFormer方法的整体执行流程包含数据采集、特征工程、模型训练和模型评估四个主要阶段。

图1：SOH估计方法整体流程（论文原图Fig.1）

1. 局部电压区间的逐步细化搜索

在电池日常循环中，中间荷电状态（SOC）对应的数据出现频率最高。基于此，论文选取了高频出现的充电区间（3.8 V 至 4.2 V）和放电区间（3.8 V 至 3.4 V）作为健康因子（Health Indicators, HIs）的初始搜索范围。

图2：充电片段内健康因子（HI）逐步缩窗提取流程（论文原图Fig.3）

特征提取采用逐步缩小滑动窗口和步长（Progressive Shrinking Window & Step）的启发式搜索机制：

1. 初始粗筛：在设定的电压范围内以0.2 V窗口和0.2 V步长将区间分割为若干短片段。
2. 基线评估：计算各片段内的恒流充/放电时间序列与真实 SOH 序列的皮尔逊相关系数（PCC）。取所有电池样本中相关系数的最小值作为该片段的基准得分（Baseline）。
3. 逐级迭代：选取基准得分最高的子区间，进一步缩小窗口至 0.1 V、0.05 V，最终细化到0.01 V窗口。
4. 确定输入特征：最终确定充电阶段4.16 V–4.17 V的恒流充电时间（CCCT）序列与放电阶段3.8 V–3.4 V的恒流放电时间（CCDT）序列作为强相关单健康因子输入，并经由固定步长的滑动窗口构建输入时序样本。

二、BMSFormer整体网络结构

BMSFormer的网络设计旨在兼顾全局依赖建模与局部特征提取，其整体架构由输入嵌入层、堆叠的BMSFormer核心模块（BMSFormer Blocks）和多层感知机（MLP）预测头组成。

图3：BMSFormer模型框架与各子模块结构（论文原图Fig.4）

输入序列通过嵌入层映射到高维空间后，依次送入多个BMSFormer Block进行特征变换。单个BMSFormer Block的前向计算过程形式化描述如下：

1. 局部-全局融合注意力处理：

   $$x_i' = W_a \cdot \text{LGFA}(x_i) + \text{LN}(x_i)$$

   其中，$\text{LN}(\cdot)$ 表示层归一化（Layer Normalization），$\text{LGFA}(\cdot)$ 为局部-全局融合注意力模块，$W_a$ 为可学习的加权参数。

2. 跨维度大卷积核卷积处理：

   $$x_i'' = \text{Back}\Big(\text{DSConv-L}\big(\text{LN}(\text{Turn}(x_i'))\big)\Big) + x_i'$$

   由于注意力机制是在序列维度（Token 维度）进行特征交互，在此通过 $\text{Turn}(\cdot)$ 操作将张量维度进行转置，将序列维度转化为通道维度，随后输入大卷积核深度可分离卷积（DSConv-L）提取长程多尺度时序特征，最后通过 $\text{Back}(\cdot)$ 恢复原始维度并进行残差连接。

3. 前馈输出：

   $$y_i = \text{MLP}\big(\text{LN}(x_i'')\big) + x_i'$$

   通过全连接层映射整合特征并输出给下一层或最终回归预测头。

三、局部-全局融合注意力机制（LGFA）

标准Transformer中的多头自注意力（Multi-head Self-Attention, MSA）采用Softmax函数计算注意力权重矩阵：

$$\text{Sim}(Q, K) = \exp\left(\frac{Q K^T}{\sqrt{d}}\right)$$

其注意力矩阵维度为 $N \times N$（$N$ 为输入序列长度），在处理长时序数据时具有 $\mathcal{O}(N^2)$ 的时间与显存复杂度。

图4：传统Softmax注意力、线性注意力与所提LGFA模块计算流程对比（论文原图Fig.6）

为了消除注意力图在序列长度上的二次方开销，LGFA引入了基于非线性激活核函数（ReLU）的线性注意力结构，并通过结合小卷积核深度可分离卷积（DSConv-S）弥补线性注意力局部感受野表达能力的退化：

1. 相似度核函数定义：
   将 Query 和 Key 的相似度计算解耦为非负核函数变换：

   $$\text{Sim}(Q, K) = \text{ReLU}(Q) \cdot \text{ReLU}\big(\text{DSConv-S}(K)^T\big)$$

2. 注意力计算的结合律转换：
   利用矩阵乘法的结合律改变计算顺序：

   $$O_i = \frac{\text{ReLU}(Q_i) \left\{ \sum_{j=1}^N \text{ReLU}\big[\text{DSConv-S}(K_j)^T\big] \text{DSConv-S}(V_j) \right\}}{\text{ReLU}(Q_i) \sum_{j=1}^N \text{ReLU}\big[\text{DSConv-S}(K_j)^T\big]}$$

   在此结构下，键值交互项 $\sum_{j=1}^N \text{ReLU}[\text{DSConv-S}(K_j)^T] \text{DSConv-S}(V_j) \in \mathbb{R}^{d \times d}$ 与归一化项 $\sum_{j=1}^N \text{ReLU}[\text{DSConv-S}(K_j)^T] \in \mathbb{R}^{d \times 1}$ 仅需在序列维度上计算累加一次即可被所有 Query 共享。计算复杂度由此从 $\mathcal{O}(N^2)$ 降低至 $\mathcal{O}(N)$。

3. 局部感应偏置的引入：
   在线性注意力计算路径中对 $K$ 和 $V$ 并行嵌入 DSConv-S 模块，以引入局部卷积归纳偏置，避免了简单线性映射在捕捉相邻时序变化（如容量局部回升或波动）时的信息丢失。

四、多尺度深度可分离卷积设计

标准二维/一维卷积直接跨全部输入通道进行滑动滤波，对于核尺寸 $k$、输入通道数 $N_{in}$、输出通道数 $N_{out}$ 和特征图尺寸 $N_F \times N_F$，其计算量为：

$$\text{FLOPs}_{\text{Std}} = k \times k \times N_{in} \times N_{out} \times N_F \times N_F$$

深度可分离卷积（Depthwise Separable Convolution, DSConv）将空间/时序滤波与通道混合分解为两个独立步骤：先由深度卷积（Depthwise Conv）逐通道独立滤波，再由逐点卷积（Pointwise Conv, $1 \times 1$）完成通道间特征融合。计算量相对于标准卷积的理论比例为：

$$\frac{1}{N_{out}} + \frac{1}{k^2}$$

图5：标准卷积、标准深度可分离卷积以及DSConv-S/DSConv-L模块内部构造（论文原图Fig.5）

在BMSFormer架构中，设计了两种不同尺度的深度可分离卷积结构：

1. DSConv-S（小卷积核模块）：

   • 配置参数：采用 $1 \times 3$ 深度卷积核，通道扩展倍数（Expansion factor）为2。
   • 内部结构：包含一层通道扩展的 $1 \times 1$ 逐点卷积、一层带有ReLU的 $1 \times 3$ 深度卷积以及一层恢复维度的 $1 \times 1$ 逐点卷积，辅以残差加和路径。
   • 功能：嵌入于LGFA模块内部，用于在低延迟开销下提取输入 token 邻域内的局部细节信息。

2. DSConv-L（大卷积核模块）：

   • 配置参数：采用 $1 \times 31$ 深度卷积核，通道扩展倍数为3。
   • 内部结构：同样采用“逐点卷积扩展通道 $\rightarrow$ 大卷积核深度滤波 $\rightarrow$ 逐点卷积投影 $\rightarrow$ 残差连接”的拓扑设计。
   • 功能：部署于注意力层之后，跨通道转置处理全局时序维度的长时趋势特征，增强模型对多尺度退化行为的表征能力。

五、技术总结

BMSFormer围绕锂离子电池SOH在线估计提出了一套协同设计的时序特征提取框架：

• 在数据预处理端，基于高频荷电状态区间，利用步长和窗口自适应收缩搜索策略，筛选与电池实际容量衰减呈高线性相关的单健康特征；
• 在网络层级，LGFA模块利用结合律变换将自注意力的序列计算复杂度压缩至线性级别 $\mathcal{O}(N)$，规避了传统 Softmax 的高计算延迟；
• 在特征混合层级，结合具有非对称感受野的双重深度可分离卷积结构（$1\times 3$ 的 DSConv-S 与 $1\times 31$ 的 DSConv-L），在轻量参数预算下兼顾了长周期退化趋势与短期容量波动的多尺度特征建模。

参考文献

BMSFormer: An efficient deep learning model for online state-of-health estimation of lithium-ion batteries under high-frequency early SOC data with strong correlated single health indicator[J]. Energy, 2024, 313: 134030.