多时相遥感影像变化检测的现状与展望

地表生态系统和人类社会活动都是动态发展和不断演变的。实时精确地获取地表变化信息对于更好地保护生态环境、管理自然资源、研究社会发展，以及理解人类活动与自然环境之间的关系和交互作用有着重要的意义[1-2]。遥感对地观测技术具有大范围、长时间和周期性监测的能力。因此，利用多时相遥感数据获取地表地物变化情况的变化检测就成为遥感技术出现最早、应用最广泛的研究领域之一[3-7]。

变化检测是通过对地物或现象进行多次观测从而识别其状态变化的过程[3]。自动和半自动化的多时相遥感影像变化检测技术已经广泛应用到土地调查、城市研究、生态系统监测、灾害监测评估以及军事侦察等应用中[8-14]。我国政府也已经高度重视遥感变化检测技术在地理国情监测中的应用，从2010年开始国土资源部每年都会开展全国土地遥感监测工作，利用多时相遥感影像变化检测技术持续更新全国土地调查成果[15-16]。

相比于其他遥感数据解译技术，变化检测的主要特点是处理和分析不同时间所获取的覆盖同一地区的多幅遥感影像，其所处理的数据量更多(多时相影像)、数据异质性更强(成像条件不同所带来的数据差异)、地物情况更复杂(变化地物和未变化地物相互混杂)。

变化检测基本流程可以大致概括为以下4步。

(1) 预处理：通过预处理步骤进行数据的配准和辐射校正，减弱外界成像环境影响从而简化变化检测问题。

(2) 变化检测：分析多时相数据中地物的光谱、空间、纹理等特征差异，提取变化强度或“from-to”变化类型等信息。

(3) 阈值分割：将连续的变化强度利用阈值分割的方式转化为离散的变化信息，生成变化/未变化等语义结果。

(4) 精度评价：全面、准确地评价变化检测结果的精度。

国内外学者已经对变化检测问题进行了大量深入的研究，许多研究工作也模糊了不同步骤之间的边界，但是目前还未出现一种“万能”的方法来解决所有问题。本文将主要以上述4个步骤为框架，总结国内外变化检测的相关研究进展，介绍变化检测的应用领域，并最终对变化检测技术的发展进行展望。多时相光学遥感影像是变化检测技术中使用最广泛的数据源，此外基于多时相SAR数据和LiDAR数据的变化检测也得到了学者们的关注[17-18]。限于篇幅，如果想要将基于SAR和LiDAR等遥感数据的变化检测研究也进行总结，未免会“挂一漏万”。因此，本文将主要围绕光学遥感影像数据介绍变化检测技术的最新研究工作。

由于变化检测分析的是多时相遥感影像之间的地物变化和特征相关性，因此对于预处理有其独特的要求，主要包括：① 配准，保证多时相影像中同一像素对应同一地理位置地物；② 辐射校正，消除不同时相影像间的辐射差异。预处理的主要目的是为了减弱外界影响，简化变化检测问题。

配准误差是变化检测最主要的误差来源之一[19]，许多研究工作都对配准误差所产生的影响进行了深入分析[20]。为了减弱配准误差影响，除了影像匹配等专门的研究方向外，也有许多变化检测方法将配准误差考虑进去，通过算法建模的方式来提高变化检测精度。文献[21]利用遥感影像的不同分辨率尺度减弱配准误差影响。文献[22]直接提出基于图的马尔科夫场模型，将影像匹配和变化检测统一到优化过程中。文献[23]提出了局部配准适应(local co-registration adjustment，LCRA)策略来减小配准误差影响，这一方法简单易用，并可以直接应用于大部分高光谱异常变化检测算法中。文献[24]则采用了局部子空间的方式考虑配准误差问题。

辐射校正是预处理的另一个重要步骤[25]。由于多时相遥感影像获取时间不同，包括太阳角度、大气条件等外界成像因素差异会造成同一地物表现出不同的光谱特征，所造成的“伪变化”是变化检测最主要的难题[1, 26]。现有的辐射校正方法可以分为两类：① 将影像DN值转化为地表反射率的绝对辐射校正；② 将目标影像辐射值同参考影像辐射值进行匹配的相对辐射校正[27]。绝对辐射校正需要精确的大气参数和复杂的反演模型，相对辐射校正则只需要寻找目标影像和参考影像间的辐射关系，更加易于计算[28]。更有研究指出，相对辐射校正能够获得同绝对辐射校正相同的处理效果[26, 28]。因此，相对辐射校正得到了更多的关注和研究。

相对辐射校正的基本假设是：未变化地物在多时相影像同一波段上的辐射值是线性相关的[26-27, 29-30]。但是，真实变化地物肯定会对寻找正确的线性关系产生影响。因此，如何从影像中自动、精确地寻找未变化的校正参考点—伪不变特征点(pseudo-invariant features，PIFs)就是相对辐射校正研究的关键[25, 31]。文献[32]设计了一种自动散点图控制回归算法选择未变化像素集。文献[27]发展了迭代的PCA方法来自动获取PIFs。文献[29]利用影像植被指数的聚类中心来计算线性关系。文献[33]深入分析了PIFs同影像场景的辐射特征之间的关系。多元变化检测以及其迭代方法也被用来提取PIFs作为线性回归的参考[30, 34]。相比于以上提取PIFs的方式，文献[35]通过迭代慢特征分析算法获取每个像素的未变化概率，并通过加权线性回归的方法利用全部像素直接计算辐射校正系数，取得了较好的效果。

中低分辨率遥感影像是传统变化检测研究的主要数据源，因其数据结构简单、信息精炼、分辨率适中，可以适用于大多数变化检测任务，是变化检测技术的基础；多时相高光谱遥感影像能够提供更加丰富和详细的光谱特征及其变化信息，因此能够实现变化类型识别以及异常变化地物检测；多时相高分辨率遥感影像具有空间信息丰富、地物细节清晰的特点，可以利用空间信息提高变化检测精度，也可以检测建筑物等特定地物的变化情况。本章将针对不同数据源，总结相关变化检测研究的最新进展。

针对中低分辨率遥感影像的变化检测方法出现最早、应用最广泛、研究也最为深入[1-3]。按照算法的主要思想，可以总结为以下4类。

影像代数法就是通过计算多时相遥感影像对应波段间的代数特征来衡量变化情况。波段差值法是最早出现的变化检测方法[3]，变化向量分析方法是波段差值法的扩展[36]，通过计算所有波段之间的差值获得一个变化特征向量，变化向量的长度代表变化强度，变化向量的方向代表不同地物变化类型。变化向量分析是目前应用最广泛的方法[37]，同时也为许多其他变化检测方法提供基础数据[38]。文献[39]提出极坐标系下区分不同变化类型的算法框架。基于核方法的变化向量分析也得到了学者们的关注[40-41]。

除了波段差值，波段比值、波段回归和光谱角也是常用的影像代数方法[1, 42-44]。这些方法能够提供波段差值以外的变化信息，因此常有研究将其同波段差值结果进行融合[45]。文献[44]提出了两种融合光谱角和变化向量分析结果的策略；文献[46]用小波方法融合了波段比值结果和对数比值结果。

相比于原始波段数据，从多时相影像数据中提取出的特征信息能够起到突出变化地物、区分变化类别、提高检测精度的效果，这类方法统称为影像变换法[1-2]。影像变换方法可以从数据统计结构出发，提取出数据特征用于变化检测。主成分分析方法是较早使用的影像变换方法，根据特征提取方式不同，可以有：先提取主成分再进行差值的PCA差值法[47]、先计算差值影像再提取主成分的差值PCA法[48]、将多时相影像叠加到一起进行主成分分析的联合PCA法[28, 47]以及用主成分分析来寻找两个对应波段线性关系的PCA回归法[49]等。独立成分分析方法也被用于变化检测研究中[50]。文献[51]首先提出了多元变化检测方法，并且又进一步提出了能够通过迭代定权提高变化检测效果的IRMAD方法[52]，这一方法已经成为目前最有效的非监督变化检测方法之一[53]。文献[54]认为，通过最小化未变化地物特征差异能够有效突出真实变化信息，并提出了慢特征分析方法(slow feature analysis，SFA)，可以有效分离变化和未变化地物，提高检测精度[35, 55]。

遥感影像的波段具有特定的物理属性，因此通过提取具有明确物理意义的特征指数进行变化检测也是一种非常有效的方法[56]。文献[57]采用缨帽变换提取属性特征进行变化检测。文献[58]研究了NDVI指数在变化检测中的效果。文献[59]对比了多种植被指数检测土地覆盖变化的能力。文献[60]根据Li-Strahler模型计算森林结构属性，分析三峡地区的植被变化。

除了检测地物变化的区域，获取具体的地物变化类型，即获取“from-to”变化信息，对于分析地表变化前后的地物分布情况具有重要的意义，因此监督的分类检测法在实际问题中得到了非常广泛的应用[10, 61]。经典的分类检测法可以分为两类：分别独立分类再对比地物类别的分类后变化检测[10, 38]；将多时相影像叠加到一起进行分类的联合分类法[62-63]。分类后变化检测应用较多，但是由于不同时相影像分类是完全独立的，多次分类误差累计会造成变化检测精度较低[3]；联合分类方法将每一种变化类型都看作一类，可以避免误差累计问题，但变化类型较多会难以选择充足的训练样本，反而无法在实际问题中得到广泛应用[1, 64]。针对分类检测法所存在的问题，目前已经有了许多相关的改进研究。

文献[65]统计得到的地物类型转换概率，并同独立分类概率结合，迭代计算多时相地物类别组合的后验概率，提高多时相影像地物分类精度。文献[66]采用主动学习的方法解决多时相影像分类中样本选择的问题。文献[67]将域适应理论引入变化检测问题中。文献[38]将变化向量分析和分类后变化检测相结合，保持未变化地物的类别一致，在变化地物中采用变化前后的独立分类结果。这一方法简单有效，特别在基于多时相影像的土地利用图更新问题上得到了实际应用[12, 38, 68]。文献[69]提出了一种将变化概率同独立分类概率相结合的贝叶斯方法，能够利用慢特征分析等方法挖掘多时相影像的相关性信息，提高变化检测及变化类型识别的精度。

以上3类方法是研究最多、应用最广泛的变化检测方法。此外，学者们还在进行大量研究和探索。光谱混合分析可以根据线性混合模型提取中低分辨率影像中地物的亚像素组分分布，也被用于检测像素内部地物变化情况[70]。文献[71]用导数光谱替代原始光谱进行变化检测。文献[72]采用信息论中的互信息作为检测地物变化的度量。文献[73]将遗传算法应用到变化检测问题中。文献[74]采用影像块作为地物特征检测地物变化。小波分解也被用于实现多尺度的变化检测[75]。

高光谱影像包含了丰富且详细的光谱特征信息，如何充分利用高光谱影像的优势实现多光谱数据无法完成的精细变化分析以及异常变化检测，是高光谱变化检测的主要科学问题。现有的高光谱变化检测研究可以分为两类。

异常地物变化区别于普遍存在的背景地物变化，且数量稀少。多时相高光谱遥感影像所包含的精细光谱特征能够为实现异常变化检测提供可能。文献[76]将异常变化检测流程分为预测背景变化的预测器和探测变化残差异常的探测器两部分，并提出了Chronochrome、方差均衡化方法以及基于聚类的改进算法。文献[77]提出一个异常变化检测框架，能够概括大多数异常变化检测方法，并根据互信息提出双曲线算法和其亚像素改进算法，这两种算法是目前最有效的异常变化检测方法之一。文献[78]建立了物理辐射模型，通过多时相影像的协同优化检测出异常变化，但这种方法使用起来较为复杂。文献[79]用椭球等高分布取代高斯分布进行异常变化检测算法的推导。文献[80]提出基于慢特征分析的异常变化检测方法，通过寻找背景地物特征差异最小的投影空间，突出异常变化地物，是目前最有效的异常变化检测方法之一。文献[81]公布了Viareggio数据集，其中包含了3幅获取于同一地区不同时间的高光谱影像以及其真实异常变化地物参考，这也是目前唯一公开的高光谱异常变化检测数据集。

通过挖掘多时相高光谱影像中丰富的光谱信息能够精细地分析地物变化类型，这也是高光谱变化检测的重要研究方向。文献[82]采用多层次聚类的方式来区分不同变化类型。文献[83]将极坐标变化向量分析同人工判读结合起来，逐层提取变化类型信息。文献[84]将独立成分分析用于提取不同类型地物的变化分布信息。文献[24]以一个时相的影像作为背景，另一个时相的影像作为目标，构建多时相子空间探测器，并通过背景子空间不同的构建方式来获得多样的变化检测效果。

光谱解混是高光谱影像分析的重要理论。文献[85—87]在一系列工作中将多时相影像在空间上连接起来，作为一个样本数加倍的数据集进行光谱解混，并对比不同时相同一端元的组分分布情况。文献[88]将多时相高光谱影像从光谱维上叠加起来，每种地物变化会形成一个新的多时相端元，再分块进行光谱解混合聚类，得到不同类别的地物变化信息。

高分辨率遥感影像具有地物细节清晰、空间信息丰富的特点。因此高分辨率影像变化检测研究主要集中于如何充分利用空间信息、保持变化检测结果的完整性，以及检测特定地物(建筑物)的变化。现有研究可以用以下两类来概括。

面向对象的处理是高分辨率遥感影像解译领域的重要思想。面向对象的变化检测是以分割地物对象作为处理单元，综合考虑对象的光谱、空间和纹理信息，提高变化检测结果的精度和完整性。文献[64]系统总结了面向像素和面向对象的变化检测方法，并对未来的发展进行了展望。

面向对象的变化检测中，很重要的一点是如何分割获得多时相影像中的地物对象[89]。文献[90]将多时相影像叠加到一起进行分割。文献[91]分别对影像进行分割，再根据重叠情况获得最终对象分割结果。文献[92]只对滑坡发生后的遥感影像进行分割，再进行面向对象的变化检测。文献[93]用已有的土地覆盖图作为主题图层，与最新影像一起进行地物分割，并融合地物分类和变化向量分析得到最新的土地利用图。文献[94]用不同时相的全色影像与多光谱影像进行交叉融合，再进行叠加分割获得对象图。文献[95]则是将像素级变化检测结果在对象内部进行统计，得到地物对象的变化情况。文献[96]对多时相影像分别分割，再分别将对象图映射到另一时相影像中，最后融合两个方向的变化检测结果。文献[63]对比了大量的地物对象空间特征在变化检测中的有效性。

除了面向对象的影像解译外，通过加入纹理、空间等特征以及考虑像素空间相关性的方式，也能够将空间信息融入到高分辨率影像变化检测中。文献[97]利用MBI、EVI和NDWI特征提取影像中的建筑物、植被和水体，再通过计算影像块地物统计直方图差值的方式，解决多时相影像观测角度不同问题，检测城市地物变化。文献[98]用尺度学习理论降低变化和未变化地物类内方差，增强类间方差，提高变化检测精度。文献[99]提出纹理基元森林的方法来融合空间上下文信息。文献[100]采用PCNN神经网络来提取空间信息，用于变化检测。文献[101]用PCNN神经网络来对影像分别进行二值化，再采用归一化转动惯量特征来进行变化检测。文献[102]使用条件随机场挖掘影像多种光谱/空间特征，在减少由于影像分辨率提升导致的虚警点问题的同时，保持变化地物的细节轮廓信息。

由于高分辨率影像中可以区分出独立的地物，特别是城市的主要地物—建筑物，因此如何提取多时相高分辨率影像中的空间形状特征，对城市建筑物的变化进行检测，也是变化检测研究中的重要方向。文献[103]提取出建筑物的形状，提出容错性变化检测方法。文献[104]专门针对建筑物变化检测提出了建筑物变化指数。文献[105]采用基于信息论的方法，对建筑物指数特征影像进行变化检测。文献[106]将慢特征分析结果同MBI建筑物指数进行融合，得到变化的建筑物区域。文献[107]结合遥感影像所提取的建筑物轮廓特征和GIS数据检测建筑物是否变化，主要应用于地震灾后的建筑物监测。

阈值分割是指根据变化检测方法所获得的变化强度信息划分变化/未变化地物的过程。许多变化检测研究以单波段影像差值或变化向量分析强度图作为输入，以变化强度分割作为主要研究内容，也可以认为属于阈值分割研究[108]。在变化检测研究中，二类k均值算法和大津阈值算法是两种简单且有效的自动阈值分割算法[54-55, 74]。文献[109]假设变化强度图是由两个高斯分布混合而成，提出了经典的EM阈值分割方法。文献[110]使用马尔科夫随机场来融合多个自动阈值分割的结果。文献[111]引入水平集理论对变化强度图进行分割。文献[112]进一步将基于EM算法的水平集用于变化检测中。

在变化检测的最后，需要对其结果进行精度评价，分析变化检测结果的可靠性。目前常用的精度评价方法包含以下3种：

(1) 混淆矩阵：混淆矩阵是分类精度评价中应用最广泛的方法。在变化检测中，可以将变化/未变化二值结果看作是一个二类分类结果，使用混淆矩阵、总体精度和Kappa系数来评价变化检测精度[38, 113]。在“from-to”变化类型分析问题中，可以将每一个“from-to”变化类型看作一个类别，同样使用混淆矩阵进行分析[68]。

(2) ROC曲线：ROC曲线是一种不受分割阈值影响，能够评价区分变化能力强弱的方法[76-77]。通过遍历阈值，获取每一个“检测率-误检率”数据点，画出一条ROC曲线。越靠近左上角的曲线代表着在同一误检率下，检测率更高，即变化检测能力更强。同时，通过计算曲线下面积(area under curve，AUC)，可以定量评价变化检测能力的强弱[54]。

(3) 检测率：通过成功检测出来的变化地物比例来评价算法的效果，用于评价二值变化检测结果，一般同误检率搭配使用[106]。为了综合两个指标，也可以采用F-score来进行总体的精度评价[69]。

变化检测是遥感对地观测中出现最广、应用最广泛的技术之一，在环境、资源、城市、灾害、军事等领域都起到了重要的作用。总结起来，遥感变化检测技术具有表 1所示应用领域。

结合当前最新的计算机理论和技术，变化检测技术在以下几个方面还能够焕发出新的活力。

遥感影像场景分类是指根据影像内部地物的空间和结构分布模式来识别场景的语义类别，即工业区、商业区等土地利用类型[134]。遥感场景分类目前已经成为遥感数据解译技术新的热点[135]。但是，目前还少有学者对多时相遥感影像的场景变化检测技术进行研究。场景变化检测能够在语义层次检测区域土地利用类型的改变情况，例如在城市发展中所出现的棚户区改造、工业区外迁、商业区改造等，对于监测城市发展和辅助科学规划有着重要的意义[136]。

在场景变化检测中，影像场景内部地物的变化不会直接造成场景类别的变化，例如一栋建筑物的修建不会令居民区变成工业区。因此，必须从语义层次上研究变化检测算法。文献[136]提出了基于BOVW模型的场景变化检测方法，并对比分析了不同字典构建方法对最终结果的影响。为了解决独立分类所带来的误差累计问题，文献[55]提出核化慢特征分析方法，并通过贝叶斯理论融合场景变化概率和场景分类概率。除了目前已有的少数工作外，场景变化检测还需要在联合字典编码、高维复杂场景特征变化检测等方面进行研究。

随着高光谱传感器的逐渐普及，多时相高光谱影像的获取将更加容易，因此高光谱变化检测研究将会迎来发展的机遇。高光谱变化检测研究的主要突破方向是，利用丰富的光谱信息检测像素内部地物组分的变化情况，以及非监督的地物变化类型分析。线性光谱混合模型是高光谱数据解译的重要理论，如何将光谱解混同变化检测结合起来，将会成为高光谱变化检测的研究重点。虽然目前也有一些相关的工作[85-88]，但还没有建立起多时相影像中端元的光谱相关性，也没有发展出多时相光谱混合模型，所以理论上还需要进一步的创新。

由于可以提供详细的“from-to”变化信息，分类变化检测法在遥感地学研究中得到了广泛的应用[10, 61]。分类后变化检测虽然存在误差累计造成的变化检测精度不高问题，但是由于原理简单、易于理解，依然是目前使用最多的方法。多时相影像间的相关性信息能够有效提高分类后变化检测的精度，光谱差异较小的地物更可能属于同一类别，光谱差异较大的地物更大概率发生类别变化[38, 55, 68]。因此，如何充分挖掘多时相影像的相关性信息，发展简单、有效、稳健的分类后变化检测改进算法，是非常具有实用价值的研究方向。

此外，覆盖同一区域的时间序列影像数据集也越来越容易获取。除了时间序列分析方法外，也需要研究基于分类的时间序列影像变化检测方法，利用时间序列影像的时空相关信息提高地物分类的精度和连续性[137]。

大多数变化检测研究都使用同一传感器的多时相影像数据。但是，同源遥感影像可能由于观测难度、成本、覆盖周期等原因，无法获取合适的重复观测数据。因此，研究多源多分辨率变化检测能够大大扩展变化检测技术的应用范围。

多源多时相数据由于成像机理、观测特征的不同，一方面可以提供多角度的观测信息，另一方面却又很难建立起地物特征的相关性。文献[113]通过两个对应的稀疏表达字典建立特征相关性。文献[40]通过定义多源数据的核函数实现变化检测。更多和更加通用的多源变化检测研究有望出现在高光谱-高分辨率影像、SAR-光学影像以及LiDAR-光学影像等多时相数据分析中。

分辨率较高的数据往往无法像低分辨率遥感影像一样具有较短的重访周期，发展多分辨率变化检测能够提高多时相数据的观测密度，并获得高分辨率的变化检测结果。文献[138]将高分辨率影像的分类结果同低分辨率影像的解混结果进行结合，分析低分辨率影像的亚像素地物变化。文献[139]利用高分辨率影像的硬分类结果和低分辨率影像的软分类结果进行亚像素制图，再对比亚像素分类图获得变化检测结果。现有研究工作主要还以监督变化检测方法为主，如何非监督地融合多分辨率影像，实现亚像素级变化检测，还有待进一步探索。

深度学习能够自动、多层次地提取复杂对象的抽象特征，大幅度提高模式识别精度。深度学习理论也能够应用到变化检测领域，从多时相影像中提取空间-光谱的一体化特征，以及建立多时相地物特征的非线性相关性。文献[43]利用深度神经网络从多时相影像所提取的影像块中学习特征，再利用多时相地物特征的光谱角和极坐标方向来识别是否发生变化、区分不同变化类型。文献[140]利用2层SAE神经网络学习多源数据间的特征变换模型，建立起多源遥感影像特征的相关性。文献[141]提出了一个包含卷积层和耦合层的神经网络，通过卷积层来提取特征，耦合层来学习未变化地物的一致性特征，最后计算多时相数据经过神经网络变换后的特征差异，提取变化地物。

虽然已有工作将深度学习用来学习多时相数据间的相关性特征，但是深度学习变化检测研究还有非常巨大的潜力。在高分辨率影像变化检测中，应该更多利用多层次的地物空间/形状特征，因此需要研究更加深层次的网络结构。此外，也可以更加深入地发挥深度学习神经网络在语义理解方面的能力，利用遥感大数据学习强大和通用的场景变化检测模型。

变化检测作为最早出现、也是应用最广泛的遥感技术之一，一直以来都是理论算法研究和地学分析领域的热门话题。随着新型遥感影像的不断普及，变化检测也在高光谱影像变化检测和高分辨率影像变化检测两个方向上有了深入的探索。本文围绕着变化检测的基本流程，从预处理、变化检测方法、阈值分割与精度评价4个角度介绍了变化检测最新的研究进展。特别是针对不同的遥感数据类型，本文详细总结了中低分辨率影像变化检测方法、高光谱影像变化检测方法和高分辨率影像变化检测的相关研究工作。其中，中低分辨率遥感影像变化检测是变化检测技术的基础，高光谱影像变化检测和高分辨率影像变化检测都是结合影像的优势和特点所进行的改进和发展。此外，本文还总结了变化检测的应用领域及其具体方向。

最后，本文对变化检测技术的未来发展进行了展望。笔者认为，变化检测技术在以下5个方面还具有很大的潜力：① 场景变化检测，在语义层次对土地利用变化情况进行检测和分析；② 高光谱变化检测，结合光谱混合模型实现非监督的变化类型分析与亚像素变化检测；③ 分类变化检测方法的改进，充分利用多时相影像间的时空相关性提高多时相分类结果的一致性和“from-to”变化信息检测精度；④ 多源多分辨率变化检测，研究通用的变化检测理论与方法，充分利用不同观测机理和不同分辨率的多时相遥感数据；⑤ 深度学习变化检测，用深度神经网络提取多时相影像的光谱/空间一致性特征，获得高精度的变化检测结果。