关于人工智能:智能遥感AI赋能遥感技术

随着人工智能的倒退和落地利用，以天文空间大数据为根底，利用人工智能技术对遥感数据智能剖析与解译成为将来发展趋势。本文以遥感数据转化过程中对观测对象的整体观测、剖析解译与法则开掘为主线，通过综合国内外文献和相干报道，梳理了该畛域在遥感数据精准解决、遥感数据时空解决与剖析、遥感指标因素分类辨认、遥感数据关联开掘以及遥感开源数据集和共享平台等方面的钻研现状和停顿。首先，针对遥感数据精准解决工作，从光学、SAR 等遥感数据成像品质晋升和低质图像重建两个方面对精细化解决研究进展进行了回顾，并从遥感图像的部分特色匹配和区域特色匹配两个方面对定量化晋升研究进展进行了回顾。其次，针对遥感数据时空解决与剖析工作，从遥感影像工夫序列修复和多源遥感时空交融两个方面对其研究进展进行了回顾。再次，针对遥感指标因素分类辨认工作，从典型地物因素提取和多因素并行提取两个方面对其研究进展进行了回顾。最初，针对遥感数据关联开掘工作，从数据组织关联、专业知识图谱构建两个方面对其研究进展进行了回顾。
除此之外，面向大智能剖析技术倒退需要，本文还对遥感开源数据集和共享平台方面的研究进展进行了回顾。在此基础上，对遥感数据智能剖析与解译的钻研状况进行梳理、总结，给出了该畛域的将来发展趋势与瞻望。

引言
近几年来，国内外人工智能的倒退和落地利用热火朝天，促成这种景象的起因能够演绎为两个关键词，即“大数据”与“高算力”。在天文空间数据分析与应用领域，这种变动也正在产生着，比方在国家高分辨率对地观测重大科技专项（简称“高分专项”）等国家重大工作的推动下，咱们可获取的天文空间数据越来越多，另外，以“云 + 端”架构为代表的高性能计算框架也在一直倒退，促成了算力的晋升。在此背景下，以天文空间大数据为根底，利用人工智能技术开掘其深层信息、赋予其更多的利用模式，将成为将来天文空间数据分析应用领域倒退的长期主题。
倒退遥感数据智能剖析技术的目标是将长期积攒的遥感数据转化为对观测对象的整体观测、剖析、解译，获取丰盛精确的属性信息，开掘指标区域的演变法则，次要包含遥感数据精准解决、遥感数据时空解决与剖析、遥感指标因素分类辨认、遥感数据关联开掘等。此外，面向大智能剖析技术倒退需要，遥感开源数据集和共享平台方面也获得了显著停顿（陈述彭等, 2000; 宫辉力等, 2005）。
遥感数据精准解决方面，遥感数据精准解决的目标是对传感器获取的光谱反射或雷达散射数据进行成像解决和定标校对，复原为与地物观测对象某些信息维度准确关联的图像产品。传统办法须要依据卫星、传感器、传输环境、地形地表等先验模型，以及外场定标试验获取定标参数，建设准确的成像模型将观测数据映射为图像产品。随着传感器新技术的倒退和分辨率等性能的晋升，先验模型的建设越来越艰难，外场定标的难度和耗费也越来越大，并且成像解决和定标校对获取的模型和参数与传感器的耦合，只能以一星一议的形式实现，无奈多星一体化实现。如何在传统办法的根底上，构建观测数据到精准图像产品的深度学习网络结构，设置面向不同利用的图像优化指标体系，以大量历史数据和标注后果作为输出，实现网络结构对传感器物理模型和参数的准确重构和迫近，造成基于人工智能技术的多星一体化遥感图像精准解决能力。
遥感数据时空解决与剖析方面，多时相影像相比繁多时相的遥感影像，可能进一步展现地表的动态变化和揭示地物的演变法则。然而，一方面受限于遥感本身的工夫分辨率与空间分辨率之间的不可兼得；另一方面受气象、地形等成像条件的影响，光学传感器获取的遥感影像往往被云层及其暗影笼罩（特地是在多云多雨地区，如我国西南地区），而难以获取实在的高空信息。这样的数据缺失，重大限度了遥感影像的利用；特地是对于多时相影像的遥感利用（如森林进化、作物成长、城市扩张和湿地散失等监测），云层及其暗影所导致的数据缺失将缩短影像获取的工夫距离、造成时序距离不规则的问题，加大后续工夫序列解决与剖析的难度。因而，进行遥感影像的工夫与空间维度的解决与剖析对进步遥感影像数据的可用性、工夫序列剖析程度和遥感利用的深度广度具备重要意义。
遥感指标因素分类辨认方面，遥感数据中个别蕴含大量噪声，大多数现有的解决分析方法并未充沛利用计算机弱小的自主学习能力，依赖的信息获取和计算伎俩较为无限，很难满足准确率、虚警率等性能要求。如何在传统的基于人工数学分析的办法根底上，联合人工智能办法，定量形容并剖析遥感数据中指标模型失真和背景噪声烦扰对于解译精度的影响机理，是遥感智能剖析面临的另一项要害迷信问题。通过该问题的剖析与倒退，无望实现构建一个基于深度学习的多源遥感数据自动化剖析框架，在对立框架下有机交融模型、算法和常识，晋升遥感数据中指标因素提取和辨认的智能化程度。
遥感数据关联开掘方面，随着遥感大数据时代的到来，咱们能够更不便地获取高分辨率和高工夫采集频率的遥感数据，对于指标信息的需要，也由指标动态解译信息，拓展到全维度的综合认知与预测剖析。为了满足上述需要，基于海量多源异构遥感数据，实现工夫、空间等多维度的信息疾速关联组织与剖析，是将来遥感解译技术倒退的重要方向。
遥感开源数据集和共享平台方面，大多数现有数据集依然存在数据规模较小、不足遥感个性的问题，并且现有深度学习平台难以无效撑持遥感个性及利用，畛域内数据集算法模型的准确性、实用性、智能化水平也待进一步提高。如何联合遥感数据个性，建设更具遥感特色的开源数据集和共享平台，是遥感智能生态建设的一项重要钻研内容。本文次要围绕上述五个方面的钻研，阐述遥感智能剖析技术的倒退现状、前沿动静、热点问题和将来趋势。

01 国内钻研现状
1.1 遥感数据精准解决
利用智能伎俩发展数据预处理技术，国外将智能技术用于遥感数据（光学、SAR、光谱）配准、校对等的工作。

1.1.1 光学 /SAR 精细化解决
遥感图像为遥感利用剖析提供了数据根底，可广泛应用于农林监测、城市规划、军事侦察等畛域，遥感数据品质是决定其利用性能的要害。评估遥感数据品质的指标包含图像工夫 / 空间分辨率、图像幅宽、空间特色、光谱特色、辐射几何精度等。高质量遥感影像具备高分辨率、高信噪比等特点。晋升遥感影像品质的办法可大抵分为两类，一是改良传统成像算法聚焦失去高质量图像；二是将已有的低质量的图像通过去噪去云以及超分辨率重建等技术失去高分辨率高质量图像。与传统的 SAR 成像算法比拟，基于深度学习的 SAR 成像算法能够简化成像过程。Rittenbach 等人（2020）提出 RDAnet 神经网络从原始雷达回波数据训练聚焦失去 SAR 图像，网络经过训练能够匹配间隔多普勒算法的性能，算法将 SAR 成像问题解决为监督学习问题，RDAnet 是第一个基于深度学习的 SAR 成像算法。Gao 等人（2019）提出了一种基于深度网络的线谱估计办法，并将其利用于三维 SAR 成像，大大放慢了成像过程。Pu（2021）提出了一种深度 SAR 成像算法，缩小了 SAR 的采样量，并且提出了一种基于深度学习的 SAR 静止弥补办法，能够无效地打消静止误差的影响。仅依赖遥感卫星载荷能力推动图像分辨率晋升，使得高分辨率图像老本大幅提高，给遥感图像大规模利用力带来艰难。以超分辨、图像重构等为代表的图像级和信号级解决办法为遥感图像分辨率和品质晋升提供了另一种可行的技术路径。Wei 等人（2021）提出了基于 MC-ADM 和基于 PSRI-Net 的两种参数化超分辨率 SAR 图像重建办法，依据事后设计的损耗，深度网络通过端到端训练来学习，可利用于失去高质量 SAR 超分辨率图像的参数估计。Luo 等人（2019）提出了一种基于卷积神经网络的 SAR 图像超分辨率重建的办法，针对浮点图像数据采纳深度学习对 SAR 图像进行重建，能够更好地重建 SAR 图像。针对非生成反抗网络在光学遥感图像超分辨重建以及噪声去除中呈现的信息损失和对比度升高的问题，Feng（2020）提出了利用生成反抗网络对小波变换域光学遥感图像进行超分辨重建以及噪声去除的办法。Xiong（2021）提出了一种适应于遥感图像超分辨的改良超分辨率生成反抗网络 (Super-resolution GAN, SRGAN)，加强了模型在跨区域和传感器的迁徙能力。Bai 等人（2021）提出一种改良的密集连贯网络遥感图像超分辨重建算法。Dong 等（2020）提出了一种改良的反投影网络实现遥感图像的超分辨率重建。Tao（2020）提出了一种以 DPSRResNet 作为其超级解析器的 DPSR 框架的遥感图像超分辨重建算法。Yang 等（2020）提出了一种多尺度深度残差网络(MDRN) 用于从遥感图像中去除云。Wang 等（2021）构建了 SAR 辅助下光学图像去云数据库, 建设了基于条件生成反抗网络的 SAR 辅助下的光学遥感图像去云模型, 实现了 SAR 辅助下光学图像薄云、雾、厚云等笼罩下地物信息的无效还原与重建。
目前，人工智能在遥感数据处理和图像品质晋升方面的利用次要得益于机器学习技术的引入。基于 GAN 网络的办法试图利用生成器克服原始高分辨率遥感图像难以获取的问题，另一些无监督的学习办法则通过学习图像品质进化前后关系试图获取原始的高分辨率遥感图像。因为迁徙学习能够从其它域样本中取得先验信息，并且在指标域中进一步优化，借鉴迁徙学习和零样本学习的思路能够尝试解决遥感图像品质晋升的问题。因为作用距离远，遥感图像分辨率和清晰度绝对于天然图像仍有肯定的差距，这导致遥感图像细节失落绝对较为重大。
为了从遥感图像中获取更为丰盛的信息，须要对遥感图像空间特色进行提取（注意力机制、部分 - 全局联结特征提取等），须要对遥感图像目视成果进行可视化加强（边缘增强、小波变换等）。此外，面向图像细节特色解译的需要，还须要对遥感图像中的强大指标和轻微构造进行检测、提取和加强（强大指标检测等），晋升遥感图像中细节缺失造成的信息损失。

1.1.2 光学 /SAR 定量化晋升
可见光、SAR、高光谱等遥感图像的定量化晋升次要体现在几何、辐射、光谱、极化等几个方面，通过寻找稳固点来打消成像过程中产生的畸变，改善图像品质，使数据产品可能定量化反映地物的实在信息，以达到定量化晋升的成果。在国内支流钻研中，神经网络技术次要被利用在晋升图像匹配精度方面，并以此带动几何定位精度定量化晋升。得益于机器学习办法的引进，遥感图像匹配技术取得了系统性倒退，匹配精度取得了显著提高。典型的两种办法为部分特色点匹配办法和区域匹配办法。与全局特色相比，部分特色点与遥感图像获取的大场景松耦合，对大场景的仿射变动、辐射 / 亮度变动噪声程度不敏感。目前，基于特色点匹配的遥感图像品质晋升技术获得了一系列研究成果。典型的特色点匹配包含关键点检测和形容子提取两个局部。深度学习利用于部分特色点匹配能够分成三个阶段，造成了三类代表性办法。第一类办法重点关注和解决关键点检测问题，即如何检测失去特色点的方向、地位、以及尺度信息。关键点检测中响应图的构建是重点，关键点检测的数量和准确性依赖于特色精确、信息丰盛的响应图。Savinov 等人（2017）提出了无监督学习的神经网络训练方法，该办法首先将遥感图像指标像素点映射为实值响应图，进而排列失去响应值序列，响应序列的顶部 / 底部像素点即能够视为关键点。Ma 等人（2019b）采纳由粗到细的策略，先用一个卷积神经网络计算近似空间关系，而后在基于部分特色的匹配办法中引入思考空间关系的匹配策略，同时保障了精度和鲁棒性。第二类办法重点关注和解决形容子提取问题，即用一组特征向量示意形容子，形容子代表了特色点的信息，能够通过端到端训练取得形容子。形容子训练是取得高精度匹配后果的要害。Simo-Serra 等人（2015）提出了 Deep-Desc 特色点形容子提取办法，该办法中神经网络采纳了 Siamese 构造（Chopra 等, 2005），结构了一种 128 维的形容子，利用于具备肯定差异性的图像对匹配问题，通过比拟形容子欧氏间隔对图像间形容子的相似性进行掂量。第三类办法关注于联结训练关键点检测模块和形容子提取模块。关键点检测和形容子提取两个模块的协同工作和联结训练是该办法重点解决的难点。Yi 等人（2016）提出了基于 LIFT 网络的联结训练，是最早解决关键点检测和形容子提取的联结训练的网络之一。LIFT 网络的输出是以 SIFT 特色点（Lowe, 2004）所在图像块，LIFT 网络的关键点检测成果也与 SIFT 算法相似，鲁棒性较好。Ono 等人（2018）提出的 LF-Net，采纳 Siamese 构造训练整个网络，通过深层特征提取网络产生特色图。Shen 等人（2019）以 LF-Net 为的根底，提出了基于感触野的 RF-Net 匹配网络，该网络实现关键点检测时保留了遥感图像低层特色、局部保留了遥感图像高层特色，在形容子提取中采纳了与 Hard-Net（Mishchuk 等, 2017）统一的网络结构。与部分特色点相比，区域特色对整体性表征更加残缺，对区域形变、区域变动等的稳定性更好。传统区域特色匹配技术的代表为模板匹配办法。深度学习利用于区域特色匹配造成了两类代表性办法。第一类办法的核心思想是用分类技术解决匹配问题。Han 等人（2015）利用 MatchNet 提取图像区域特色，将三个全连贯层失去特色的相似性作为输入，对输入采纳概率归一化解决 (Softmax) 进行分类匹配。Zagoruko 等人（2015）重点解决了对光照变动、观测角度具备很好适应性的区域特征提取问题，提出了基于 DeepCompare 网络的区域特征提取办法，该办法的匹配性能对于不同工夫空间获取的遥感图像具备极佳的稳定性。第二类办法的核心思想是构建适合的形容子解决区域特色匹配问题。Tian 等人（2017）提出了一种 L2-Net 网络的区域匹配方，该网络生成了 128 维的形容子，在迭代次数较少的束缚下，利用递进采样策略，对百万量级的训练样本进行遍历学习，并通过额定引入监督进步学习效率，该网络泛化能力较好。
可见，深度学习网络的引入在特征提取、关键点检测和形容子提取等多方面优化了遥感图像匹配能力。思考到深度学习网络的继续钻研，网络结构、训练形式的更新和提高无望进一步晋升遥感图像匹配精度，基于深度学习的遥感图像匹配算法依然具备相当的钻研价值和利用前景。
除了几何品质定量化晋升外，还有多数钻研学者发展了利用神经网络技术在辐射、光谱、极化定量化晋升方面的钻研工作。杨进涛等人（2019）提出了一种基于海量 SAR 数据进行地物散射稳固个性的剖析与开掘，并胜利在一般地物中找到一种统计意义下稳固的散射特色量用作定标参考，从而为 SAR 零碎的常态化辐射定标奠定初步的技术根底。Jiang 等人（2018）思考到极化观测过程中会受到多种误差的影响，造成极化测量失真，影响数据的极化利用性能，提出一种利用广泛散布的地物进行串扰和幅相不均衡的定量评估办法，该办法不受工夫和空间限度，可能实现大量数据极化校对性能的实时、便捷评估，对极化数据品质进行长期监测。和几何定量化晋升不同，神经网络技术在这些畛域还没有大量的、深刻的利用，为后续进一步进行系统性、规模化钻研提供了领导方向。

1.2 遥感数据时空解决与剖析
近年来，陆续发展多源遥感工夫与空间协同解决与剖析方面发展钻研工作，力求实现多源数据间互补协同、交融重建，进步遥感时空剖析的能力
1.2.1 遥感影像工夫序列修复
钻研人员构建了大量的工夫序列遥感影像修复和重建的办法。依据修复所用参考数据的不同，这些办法大抵能够分为三类：基于影像自身的修补办法（self-complementation-based）、基于参考影像的修补办法（reference-complementation-based）和基于多时相影像的修补办法（multi-temporal-complementation-based）。基于影像自身的修复办法利用同一影像上无云 / 影笼罩区域的数据来修补被云 / 影笼罩区域的缺失数据；假如影像中数据缺失区域与残余区域具备类似或雷同的统计与几何纹理构造，通过流传部分或非部分无云区域的几何构造来重建云 / 影区域的缺失数据。根据空间插值与误差流传实践，缺失像素插值（missingpixel interpolation）、影像修补（image inpainting）和模型拟合（model fitting）等多种办法被广泛应用于云影区域的数据重建。尽管可能重建出貌似实在的影像区域，但这些办法对云 / 影笼罩下地物的类型十分敏感，其修补数据也不适用于进一步的数据分析；并且因为不确定性和误差随着流传而积攒，这些办法很难修复大区域或异质缺失数据。为了克服基于影像自身修补办法的瓶颈，Chen 等人（2016）提出了通过模仿参考影像与云 / 影笼罩影像之间映射与转换关系的基于参考影像修补办法；这类办法依赖于不同光谱数据之间的强相关性，利用多光谱或高光谱影像中对云不敏感的光谱波段来重建被云 / 影笼罩区域其余波段的缺失数据。比方利用 MODIS 数据的第七波段来修复第六波段的数据缺失、利用 Landsat 近红外波段来估算水面区域的可见光波段、利用 MODIS 数据预测 Landsat 影像的缺失数据和利用不受云雨烦扰的合成空间雷达数据来重建被云影笼罩的光学数据等。只管参考影像可能提供云影笼罩区域的缺失信息，但这类办法依然受到光谱一致性、空间分辨率和成像工夫相关性等限度，而难以重建出高质量的用于模仿地表变动的工夫序列数据。前两种办法受限于其对重建影像没有渐进变动的假如，这种平稳性假如将成为土地笼罩变动和作物成长监测等工夫序列利用中的显著弱点。遥感卫星以固定的反复周期来观测地表，同一区域又不可能总是被云影笼罩，因而很容易取得同一区域的多时相影像。这些同一区域的多时相影像（有云 / 影笼罩的和无云 / 影笼罩的）提供了利用多时相影像修复云 / 影笼罩区域缺失影像的可能（Chen 等, 2011）。基于多时相影像的修补办法包含两个次要步骤：查找有云 / 影笼罩区域和无云 / 影笼罩区域类似的像元（pixel）或区域（patch）和利用类似的像元（区域）预测云 / 影笼罩区域的缺失数据。在查找类似像元中，Roy 等人（2008）深入研究并集成空间、光谱和时相等信息来度量有云 / 影笼罩区域和无云 / 影笼罩区域像元的相似性。在重建云 / 影笼罩像元中，Gao 等（2017）提出和倒退了诸如多时相间接替换、基于泊松方程的复制、时空加权插值等办法；同时也吸纳用于修复传感器条带修复的办法，如近邻类似像元插值（neighborhood similar pixel interpolator，NSPI）（Zhu 等, 2011）和加权线性回归（weightedlinear regression，WLR）等。近年来，深度学习办法也被使用于云影笼罩影像的修复和重建；Grohnfeldt 等人（2018）利用生成反抗网络（generative adversarial networks）来交融合成空间雷达数据和光学影像生成无云影像；Malek 等人（2017）利用自动编码网络（autoencoder neuralnetwork）来构建有云影笼罩区域和无云影笼罩区域影像的映射函数；Zhang 等人（2018a）利用深度卷积网络（deep convolutional neural networks）集成光谱、空间和时相信息来修复缺失数据。
尽管现有钻研获得了不错的重建成果，但仍存在一些局限性：(1)绝对于光谱和空间相似性，多时相影像中的工夫趋势能更具体地反映地表笼罩变动，而以往办法（尤其是传统办法）中的简略线性回归或光谱、空间度量很难捕获简单的非线性工夫趋势；(2)现有的利用深度学习的重建办法多集中使用空间卷积网络 CNN 获取光谱和空间纹理信息（且须要大量的训练样本），少有钻研应用循环神经网络 RNN 学习跨影像的工夫趋势；(3)因为云 / 影总在不确定的影像区域和不确定的工夫上呈现，像元级的工夫序列难以保障多时相影像的工夫距离相等与时绝对齐，加大了现有办法进行工夫序列重建的难度。
1.2.2 多源遥感时空交融
遥感图像交融钻研可大抵分为两个阶段。第一阶段次要集中于全色加强算法钻研，即通过交融来自同一传感器的全色波段和多光谱波段进而生成高分辨率的多光谱图像。这类算法钻研较多，已造成较为成熟的系列算法。第二阶段则是多源多分辨的时空交融算法钻研，即通过交融高空间分辨率遥感数据的空间分辨率特色和高工夫分辨率遥感数据的工夫分辨率特色，进而生成兼具高工夫和高空间分辨率的遥感数据。这类钻研从最近十几年才倒退起来，仍处于疾速倒退阶段，研究成果绝对较少，然而对遥感数据的利用具备重要意义。时空交融算法钻研最早呈现在 2006 年美国农业部 Gao（2006）的钻研中。其在 Landsat ETM+ 和 MODIS 数据地表反射率的交融中提出一种时空自适应反射率交融模型(Spatial and Temporal AdaptiveReflectance Fusion Model，STARFM)，可交融生成具备和 Landsat ETM+ 数据一样空间分辨率的逐日（和 MODIS 数据工夫分辨率一样）地表反射率数据。尔后，系列基于 STARFM 或其余实践框架的交融算法相继被提出。以后的时空交融算法依据其交融原理可大抵分为三种：基于解混、基于滤波和基于学习的办法。基于解混的办法，通过光谱替换的形式生成交融图像。基于滤波的办法，待预测像元值通过对其肯定邻域内光谱类似像元的加权求和取得。而基于学习的办法（Huang 等, 2012; Song 等,2012），首先通过学习待交融传感器图像之间的映射关系，而后将先验图像的信息融入交融模型最终生成交融图像。基于学习的时空交融钻研起初多在 MODIS 和 Landsat 这两类遥感图像上。如针对这两类数据的交融，Song 等人（2012）提出基于稠密示意的时空反射交融模型。该模型在已知两对 MODIS 和 Landsat 图像对差分域中学习它们的映射关系，造成字典对信息。而因为两者图像的空间分辨率存在较大差别，作者设计了两层交融框架，使得基于稠密示意的办法大大提高了交融精度，但字典对中存在扰动的问题始终不可漠视。Wu 等人（2015）通过引入误差边界正则化的办法到字段对学习中解决了扰动问题。近年来，因深度卷积神经网络在各类图像畛域体现出良好性能，Song 等人（2018）提出基于卷积神经网络的遥感图像时空交融算法(SpatiotemporalSatellite Image Fusion Using Deep ConvolutionalNeural Networks，STFDCNN)。他们的模型分两阶段进行学习，首先学习降采样 Landsat 图像（lowspatial resolution，LSR）与 MODIS 图像之间的非线性映射关系；其次学习 LSR Landsat 图像与原始 Landsat 图像之间的超分辨率映射关系。通过这两阶段学习模型实现对遥感图像中丰盛细节信息的利用。只管 STFDCNN 模型在时空交融性能上大幅度超过其余交融算法，但因其神经网络层数较少（仅有 3 个暗藏层），如此浅层的卷积神经网络对存在较大空间尺度差别的不同卫星传感器数据（MODIS-Landsat）间的非线性映射关系的学习仍是有难度的。因而，以后如何解决两类传感器数据（MODIS-Landsat）之间的空间差别变动，以及如何确定深度卷积网络的最优层数和卷积核数目仍旧是卷积神经网络时空交融算法钻研中亟待解决的问题。此外，Kim 等人（2016）在超分辨重建钻研中，通过利用残差网络结构得以训练一个深度的卷积神经网络模型，这对后续遥感图像交融钻研具备肯定启发。

1.3 遥感指标因素分类辨认
经典遥感因素分类与识别方法个别为“单输出单输入”的模型架构，面向不同指标因素、不同模态数据或不同分类辨认工作时，通常设计不同的专用网络模型。而咱们理论面临的利用场景中，常会有不同模态的数据供咱们应用，并给出多种类型的决策后果，例如，人类的感知零碎会联合听、说、看等多种输出，并给出指标的地位、属性等多种信息。而传统的模型架构难以实现这种“多输出多输入”的能力，次要问题在于，一是传统模型对新场景、新工作的适应能力有余；二是模型对各类数据的特征提取过程绝对独立，难以实现不同数据的特色共享从而实现性能增益；三是在多输出多输入状况下，传统模型的简略叠加会导致计算和空间复杂度的显著回升，限度其实用能力。为了解决上述问题，以后的支流倒退方向是多因素指标信息并行提取，通过在网络模型中摸索多模态数据、多任务多因素特色的共享学习，在升高模型复杂度的同时晋升其泛化能力。
1.3.1 典型遥感指标因素提取
传统的遥感指标因素提取办法面向不同指标因素时，通常设计不同的专用的办法流程。这种流程设计次要解决两类问题，一是针对遥感数据自身的特色 / 个性剖析，为构建适宜数据特色 / 个性的模型提供根据；二是适宜遥感数据特点的专用网络模型构建，即以通用的网络模型为根底，构建合乎遥感数据特点的模型，改良通用模型在遥感数据中的利用能力。遥感数据的获取过程中存在诸多与天然场景图像不同的影响因素，如电磁波散射个性、大气辐射个性、指标反射个性等，因而对于数据的上述个性的剖析和表白是构建无效模型的根底。Kusk 等人（2016）和 Hansen 等人（2017）通过对 SAR 成像时地形、回波噪声等因素进行建模，实现基于 3DCAD 对不同类型地物因素的 SAR 图像仿真。Yan 等（2019）通过对舰船等指标进行三维模型构建，从而生成仿真的指标点云数据。Ma 等（2019a）提出了一种蕴含生成和判断构造的网络模型，通过反抗学习实现样本表观真实性的加强。Zhan 等（2017）和 Zhu 等（2018）提出了一种针对高光谱影像分类的生成反抗网络模型。Zhang 等（2018b）设计出一种基于条件模型的生成反抗网络，用于遥感图像中飞机指标的精密仿真。Yan 等人（2019）则基于点云数据在三维空间上进行船舶模型构建，并利用正射投影变换将模型从模型空间投影至海岸遥感图像上进行仿真数据生成。为了进一步晋升仿真对象和遥感背景间的适配性，Wang 等人（2020b）则进一步提出利用 CycleGAN 对仿真的飞机指标和背景进行自适应调整，设计了一种用于指标检测工作的建模仿真数据生成框架。在地物因素分类工作上，Kong 等人（2020）则利用 CityEngine 仿真平台的批量建模个性，首次摸索在广域范畴内进行城市级别的场景建模，并公布了一套用于建筑物宰割的遥感仿真数据集 Synthinel-1。面向遥感数据特点的专用网络模型设计方面，次要联合遥感图像中指标旋转、多尺度、指标散布个性等特点，针对性设计网络结构来晋升专用模型性能。Zhou 等（2018）设计了一种源域到指标域数据共现特色聚焦构造，晋升高光谱图像的语义宰割成果。Luo 等（2018）针对高光谱图像语义宰割中存在的类内特色散布差别，提出了一种均值差别最大化束缚模型。Rao 等（2019）设计了一种自适应间隔度量模型，晋升高光谱图像地物因素的分类精度。Kampffmeyer 等（2016）针对地物因素数量、空间散布差别大的问题，提出了一种联合区域分组与像素分组的模型训练策略，用于国土资源监测工作。Liu 等（2017）针对遥感指标尺度差别大的特点，提出基于沙漏网络的多尺度特色加强模型，晋升光学遥感图像的分类精度。Marcos 等人（2018）提出了基于旋转卷积构建的多源数据提取网络，通过编码图像的旋转不变性特色在多个数据集获得了先进的后果。Peng 等人（2020）基于留神机制和密集连贯网络无效交融 DSM 数据和光谱图像并取得了更好的宰割成果。Hua 等人（2021）提出了特色和空间关系调节网络，利用稠密正文，基于无监督的学习信号来补充监督工作，显著晋升了语义宰割的性能。随着遥感图像分辨率的晋升、网络深度的减少、参数的重叠带来性能的晋升，与之相伴的是宏大的模型、巨量的参数和迟缓的算法效率。思考到星上遥感数据实时处理对计算资源、存储资源的限度，一些工作尝试在保留算法高性能前提下，缩小模型参数，进步算法运算速度。Valada 等人（2019）利用分组卷积的设计思维提出了一种高效的带孔空间金字塔池化构造，用于高分辨遥感图像地物因素提取。提出的办法可能缩小 87.87% 的参数量，缩小 89.88% 每秒浮点运算次数（floating-point operationsper second, FLOPS）。Zhang 等人（2019b）基于深度可分卷积设计了一种面向合成孔径雷达图像的船舶检测算法的特征提取网络，大大晋升了检测速度，相比于轻量化前的网络检测速度进步了 2.7 倍。Cao 等人（2019）利用深度可分卷积设计了一种用于提取数字外表模型数据的构造，该网络结构无需预训练模型仍能够疾速收敛，将网络训练工夫升高 50% 以上。Wang 等人（2019b）提出一种轻量级网络 MFNet，实现对高分辨率航拍数据的地物因素分类工作的高效推理，相比于轻量级网络 ResNet-18，提出的网络在分类精度晋升的同时，将参数量减少了 40%，推理速度进步了 27%。Ma 等人（2020）针对灾后损毁评估工作，以 ShuffleNet v2 模型为根底，设计了一种轻量化建筑物提取模型，相比传统模型，在精度晋升 5.24% 的同时，速度进步 5.21f/s。上述办法通过联合遥感指标因素特点，通过提出专用网络结构或特征提取办法，晋升传统模型针对遥感数据的利用能力。然而，对于不同类型数据、不同特色 / 个性，仍不足对立的网络结构进行表征，因而多因素信息多任务并行网络和模型仍需进一步钻研。
1.3.2 多因素信息并行提取
多因素信息并行提取办法的钻研，次要集中于摸索如何在一个对立模型中实现多类遥感地物因素指标的类别、地位等属性信息的高精度获取。如前所述，针对这种典型的“多输出多输入”场景，现有办法重点针对多模态输出数据的特色示意和多任务输入特色的共享交融两方面问题发展钻研。特色共享钻研方面，依据模型共享参数实现形式的区别，现有办法可大抵分为硬参数共享（hard-parameter sharing）和软参数共享（soft-parameter sharing）两种。硬参数共享方法利用同一个模型实现在输出和输入端的多任务分支模型特色共享交融。Liebel 等（2020）面向城市建设情况剖析工作，将多个工作共享同一编码器，并别离解码输入，实现同时输入建筑物地位和深度信息。Papadomanolaki 等（2019）将地物因素重建模型交融到分类模型中，并束缚分类模型训练，来晋升分类成果。Khalel 等（2019）则在同一个网络模型中同时嵌入图像锐化与地物因素分类两类工作的模型。Rosa 等（2020）设计了一种面向农业生产情况监控的多任务全卷积回归网络。软参数共享方法间接将针对不同工作的多个独立网络通过参数加权连贯，实现多类工作的共享输入。Volpi 等（2018）将条件随机场拟合后果与图像同时作为数据，构建类内类似度和边界值预测的两个分支模型，改善地物因素分类后果。Zhang 等（2019a）提出了面向极化 SAR 多通道数据的地物因素分类办法，利用独立的特征提取网络对幅值和相位信息别离建模，利用分类器进行联结束缚训练，来晋升精度。Shi 等（2020）针对高光谱图像的多类因素分类工作，利用多任务集成学习实现通道抉择，获取最优通道组合。针对多模态数据的联结特色示意，如图像纹理特色、三维高程特色、指标因素矢量拓扑特色等，能无效晋升各类工作的性能。Chen 等（2019）针对洪灾区域检测工作，提出交融多时相的多模态图像的模型，来晋升其检测精度。Fernandez 等（2018）将 SAR 图像和多光谱图像作为输出，进行无监督的地物因素分类。Benson 等（2017）在森林冠层三维高度预计工作中，提出利用光谱个性数据的办法，能无效改善传统三维预计办法的精度。