1.发展现状与面临挑战

遥感AI有可能下⼀个具有普惠价值的AI应⽤

1.1遥感的概念内涵

狭义的遥感定义：

探测器远距离对地球不间断观测，通过数据获取、处理和信息提取，再现地球表⾯的状况、现象、过程 及空间分布，服务国防、社会和经济发展。

1.2遥感大数据的基本特质

背景：美国的PlanetScope卫星星座，每天可对全球陆地全覆盖监测⼀次

⼤数据的特质：  ⼤量化，多样化，快速化，价值密度低

遥感独特的特质：

1.多传感：空间/光谱分辨率越⾼，对⽬标细节特征的描述越充分

   成像传感器

   ⾮成像传感器

2. 多分辨：获取同⼀区域的地物特性也不同不同类型传感器的成像机理不同

3.多时相：不同时相的变化过程，能够获取⽬标区域更丰富的属性信息

4.多要素:是⼀个包含多类要素的信息全集，  ⾯向不同应⽤提供定制化服务

那有了这么多数据信息，我们需要做的是哪些事情呢

1.3遥感图像解译任务

利⽤某些标志直接在图像上识别地物或现象的性质、类型和状况，或通过已识别出的地物或现象，利⽤

相互关系推理、分析不易在遥感影像上直接解译的⽬标

和其他的概念做下区分：

1.3.1遥感图像分类

对输⼊的图像分配所属的类别

应⽤领域:⼟地分类、植被监测等

1.3.2遥感图像目标检测

1.3.3遥感图像语义分割

对遥感图像每个像素给出对应地物类别，以区分遥感图像中的多种地物

应⽤领域:国⼟资源普查、海洋监测、智慧城市等

1.3.4遥感图像变化检测

从不同时期遥感数据中定量分析和确定地表变化特征与过程，输⼊多时相数据，输出变化区域

应⽤领域:城市变化分析、灾害评估、轮作监测等

1.3.5遥感图像描述

根据输⼊的图像，⽣成⼀句 (段)描述的⽂字

特点:不仅需检测图像中的物体，还需能理解物体间的关系需结合⼀定⾃然语⾔处理技术

1.3.6遥感图像检索

根据输⼊的图像，在既有数据库中找到相似的图像

特点:不仅需检测图像中的物体，还需度量图像间相似性，数据库规模较⼤，可能携带语义信息

1.3.7结合载荷特性的任务：  SAR/红外图像目标识别

SAR是⼀种主动式微波成像雷达，它具备全天时、全天候的观优势

红外图像是通过测量物体向外辐射的热量⽽获得的，对⽐度较低

以上就是遥感图像解析任务的情况，其实任务的本质都是分类问题

从图像级分类到⽬标级分类再到像素级分类

1.4大数据颠覆传统方法

传统⽅法：

基于物理模型、数学模型的单次和有限次观测

⼤数据⽅法：

从模型驱动到数据驱动，不依赖或者较少依赖模型和先验知识，也就是神经⽹络挖掘

1.5遥感图像智能解析的新内涵

Big Data + AI + RS

基于学习的经验模型取代了传统基于物理过程的第⼀原理模型，催⽣了全新的处理⽅法

机器学习⽅法取代了传统的⼈⼯规则和⼲预，降低了定量遥感的⻔槛，催⽣了全新的应⽤模式

1.6通用智能方法遇到的挑战

难以直接应⽤到遥感图像解翻译领域

2. 智能解译方法研究进展

2.1通用机器学习方法

基于⻉叶斯的统计建模⽅法:产⽣式、判别式等

2.2网络模型运用

神经⽹络模型 +图像先验知识，缩⼩候选区域，降低虚警

利用目标显著性先验开展粗定位，缩小在大尺度场景中的搜索范围，生成少量的边界框

2.3模型设计与优化   

分为以下几类

1.旋转、尺度不变的目标检测

是通过RPN结合局部上下文增强特征，构建目标检测框架通过双通道特征融合网络提升检测精度    

2.密集排布小尺度的目标检测

则是利用对旋转位置敏感的Rol对齐模块提取旋转不变特征         

3.SAR图像:如何结合成像机理/目标特性，解决提取分类的难题

大场景背景尤为复杂难以定位目标区域

海上大风浪、陆地强干扰造成盲检测虚警漏警过多

成像角度、极化方式各异地物目标类别难以区分

4极化特征选择与目标分类

从极化特征集合中筛选出包含表面散射、二次散射和体散射等典型散射机制代表性特征

构建极化编码全卷积网络实现特征的二维表达

5. 复数卷积神经网络

将实数卷积网络的网络结构、网络参数传导延伸至复数域，能够较好构建SAR图像分层特征

2.4遥感解译技术路线

2013以前

SVM、集成学习等方法解决遥感特征分类问题

2014-2016

DBN、CNN等直接用于遥感目标分类、检测

2017-2019

结合遥感特性的集中式遥感数据处理模型

2020-2021

知识蒸馏、轻量化等提升端侧应用效率

2022至今

大模型时代到来

2.5技术思想的选择                                                            

2.5.1小模型

优点:灵活部署，算法精度随着使⽤过程逐步提升

不⾜:⼀种载荷/⽬标/任务⼀种算法，泛化性不理想

2.5.2大模型

大语言模型参数量达千亿级规模，出现“涌现”现象

视觉模型参数量达十亿级规模，体现出泛化性提升潜力

2.5.3目标

构建遥感⾏业的通⽤智能解译基础模型

具备能⼒ :

不同载荷/⽬标的⾼泛化性

不同解译任务的⾼精度

⾃主学习和优化能⼒

2.5.4当前阶段

采⽤“基础模型”+“下游任务”模式

参数达几十亿量级后，多类不同任务的泛化能力遇到天花板

参数达几十亿量级后，多类不同任务的泛化能力遇到天花板

2.5.5问题挑战

   样本数据

   模型结构

  下游任务

2.5.6总体方案

高泛化的基础模型：提升多类载荷/目标识别能力的泛化性

高精度的下游任务：多类任务快速收敛确保精准可信

2.5.7采取措施

1.样本数据

以自监督学习算法为基础，突破了非完全掩码、频谱选择和外推等技术，实现了复杂背景、恶劣成像条件下小尺寸目标和边缘模糊地物要素的精细标注

分为目标尺度自适应的自监督学习和基于成像物理模型的图质提升，前者是非完全掩码方法从大规模未标记数据中学习多态数据通用表示，避免训练中丢失小目标信息小目标漏检率降低近12%，后者则基于频谱选择和外推的方位模糊智能抑制方法精细重建干扰遮蔽下的地物信息，可抑制强模糊干扰近20dB，排除近60%的虚假目标

2.基础模型

发现异构特征在不同特征空间降维融合损失小的规律，突破拓扑可变特征聚类、泛函空间映射等技术，实现了复杂多模态特征的稳定提取和融合

分为高维特征的自适应保结构映射和面向多模态数据的泛函空间映射，前者是取代固定网格像素加权求和的特征响应方式，解决了异构特征在对应空间降维保真难题，要素提取精度较其他多源融合方法提升10.3%，后者是取代基于误差反向传播算法的权重更新，解决了不同特征空间跨域融合训练难的问题，多模态多任务平均精度提升11.59%

3.下游任务

基础模型训练基础上，挂接不同类型子网络，实现不同下游任务的快速精调

4.轻量化

CNN网络结构通过对邻域范围内的多层卷积操作，强化细节特征信息，可视为多个高通滤波器叠加;Transformer架构通过大量的线性计算与聚合操作，强化长程语义信息，可视为低通滤波器

3. 典型场景应用

3.1多累地物要素精细分类

泛化迁移能力支撑复杂地物提取，平均交并比精度达86%

3.2要素多任务提取重建

基础模型+多任务下游网络:

3.3不规则地物普查

长江流域污水处理厂全自动提取

西部地区光伏发电设备全自动提取和变化监测

4. 进一步工作的思考

4.1进一步探索遥感基础模型的性能边界                              

30亿左右参数量初步能满足当前部分任务性能需求，百亿以上规模参数是否可达到遥感基砍模型的性能边界?

面向遥感复杂场景，高质量样本数量比参数规模更能影响模型性能

4.2结合自主可控需求，不断完善遥感基础模型的国产化适配

基于华为Atlas300、MindSpore、Jittor等软硬件，实现遥感基础模型的全栈化国产适配避免国产化算力受限的条件下因适配算法推理精度导致的大幅掉点

4.3构建更开放的遥感智能生态，提供数据与基础模型服务

高质量、精细标注的样本数据集持续更新、开放共享基础模型与轻量化版本即将上线，开放预训练模型参数，赋能更多下游任务

5.总结

主要讲述了遥感在科技发展下的进度及AI赋能等

本文参与华为云社区【内容共创】活动第25期。

任务20：昇思MindSpore技术公开课·大模型专题（第二期）第二讲_云视界live_直播_云社区_华为云 (huaweicloud.com)