航空发动机故障诊断智能体的组成部分

在民航机队长期运营过程中，航空发动机的故障样本通常极度稀缺，而监测数据却在飞行任务中持续增长。为了使诊断模型能够在不对称样本与动态数据流中保持长期演进，论文《Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》系统性地构建了一个具备环境感知与持续更新能力的故障诊断智能体。该智能体并非单一的分类算法，而是由业务交互环境、时序特征编码基底、对比特征微调结构、双流强化决策网络以及不平衡反馈机制等多个核心组件融合而成的闭环诊断体系。

智能体的第一个关键组成部分是业务交互环境与经验回放单元。该部分将航空公司的实际运行流程抽象为智能体交互的外部环境：飞机在完成航段后通过机载报文系统下发气路监测时序数据，作为环境向智能体提供的输入状态；地面工程师与维修专家的核验结果及处置报告则作为环境的真值标签。智能体的诊断动作与专家评估反馈、状态序列一同被存入经验记忆池中，为后续策略网络的批量学习提供持续演化的数据源，构成了智能体与工程实际深度绑定的数据交互底座。

智能体的第二个关键组成部分是基于自编码器的特征提取模块。由于发动机故障数据极其匮乏但正常运行数据极为充足，直接端到端训练容易导致模型对微小故障过拟合。该组件选用长短期记忆循环神经网络构建时序自编码结构，专门利用大量正常飞行样本进行无监督重构训练。编码器通过按时间步逐步整合热力学参数的时序演变信息，将高维气路监测序列压缩为低维隐藏特征，在不接触标签的前提下为智能体建立起对发动机常规工况退化规律的先验表征能力。

智能体的第三个关键组成部分是加权对比特征区分模块。在获得预训练编码器后，该模块将真实故障数据按类别配对，同一故障模式作为正样本对，不同故障模式作为负样本对，避免了人工合成时间序列可能引入的虚假伪影。通过在编码器后附加多层投影结构，并引入考虑类别比例差异的加权对比损失函数，模型在保持编码器主体结构微调的同时，加大对正负样本对投影距离的约束力度，使同类故障特征在隐空间中相互聚集，不同类故障彼此分离，大幅提升了稀疏特征的类间可分性。

智能体的第四个关键组成部分是类型识别决策网络。该网络承接前序冻结的对比编码特征，由主干循环层与分支线性层构成。为了降低动作价值估计偏差并提升决策稳定性，网络采用决斗机制将输出解耦为两条路径：一条分支计算当前状态本身的全局基准价值，另一条分支独立评估判定为各类故障动作的相对优势，二者经过合成运算后输出最终的动作评分，由评分最高者决定故障归类。同时，网络配置了实时更新的策略网络与周期性同步的目标网络，通过双重估值机制抑制强化学习中常见的过度估计现象。

智能体的第五个关键组成部分是自适应不平衡奖励与动态探索机制。由于正常样本与不同故障样本数量悬殊，环境会根据当前批次中各类别样本总数的倒数动态计算反馈奖励强度，赋予稀有故障判定更高的奖励与惩罚反馈，促使智能体在优化过程中平等关注少数类特征。配合在训练初期保持广泛尝试、随着经验积累逐步收敛至确定性策略的动作选择机制，智能体得以在多类别不平衡与数据持续流入的复杂工况下，实现稳定、长效的参数调优与自主闭环诊断。

参考文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.