CN115937697A 审中 一种遥感影像变化检测方法
技术领域 [0001]本发明涉及一种遥感影像变化检测方法,属于遥感影像识别技术领域。 背景技术 [0002]遥感影像变化检测已被广泛应用于地形图更新、城市变化分析、灾害评估、滑坡监测等多个领域。图像代数法、图像变换法以及分类后比较法等传统变化检测方法,在中低分辨率遥感影像上表现出良好的效果,但是随着影像分辨率的提高,影像背景更加复杂,不仅更加难以实现自动变化检测,而且变化检测结果的精度也往往无法满足实际应用的需求。 [0003]深度学习以其强大的自主学习能力广泛应用于计算机视觉和遥感等领域,基于全卷积神经网络(Fully Convolutional Network,FCN)结构的模型被应用于语义分割任务中,实现了以端到端的方式提取影像的特征。典型的网络有UNet、SegNet以及DenseNet,语义分割网络的不断提出使得遥感影像变化检测任务得到了快速发展。孪生网络以其双分支共享权重的特点逐渐成为遥感影像变化检测中流行的输入方式,Daudt等讨论了FC-EF、FC-Siam-conc和FC-Siam-diff三种全卷积神经网络,验证了孪生网络在变化检测任务中的有效性,其中FC-Siam-conc和FC-Siam-diff的编码层都被分成两个具有相同结构和共享权值的分支,不同的是FC-Siam-conc的解码结构融合了从编码结构获得的特征,而FC-Siam-diff则是计算解码结构特征图差的绝对值,再输入解码结构的相应层。有学者通过在网络中引入注意力和深度度量等模块,能更好地区分变化与不变化特征,提高了遥感影像变化检测的性能。例如:SUNet-CD通过在UNet++的基础上加入集成通道注意力模块,用以细化不同语义层次的最具代表性的特征,从而实现变化检测任务;STANet在孪生网络的基础上增加了基础时空注意模块(Basic spatial–temporal attention module,BAM)和金字塔时空注意模块(Pyramid spatial–temporal attention module,PAM),使网络能更好地适应不同尺度下的目标,提升了变化检测的精度;DASNet使用一种双注意力机制以捕获长期依赖关系,获得更具有判别性的特征,从而提高模型的识别能力;DSAMNet中使用深度度量模块增强特征提取器的学习能力,生成更为精细的特征。 [0004]目前在遥感影像变化检测中广泛使用的方法是直接将前后两时相的遥感影像放入卷积神经网络中进而输出最终变化的结果。直接将遥感影像放入卷积神经网络中进行特征提取有两种方式,一种是将双时相影像在通道维度上进行叠加后一同作为网络的输入,利用深度卷积神经网络优秀的特征提取能力,从叠加的影像中提取出变化信息,但是该方法难以维持原始影像的高维特征;另一种是两幅影像单独输入孪生网络,子网共享权重使训练需要更少的参数,减少过拟合现象,孪生网络可以同时对前后时相影像进行特征提取,通过共享权重的方式获取影像特征图,再对影像特征图进行对比获取变化区域特征,以达到精确的像素级分类。 [0005]虽然上述方法在不断地提高变化检测的精度,但目前高分辨率遥感影像的变化检测仍然存在边界分割粗糙和小目标漏检等问题。 发明内容 [0006]本发明的目的是提供一种遥感影像变化检测方法,以解决目前遥感影像的变化检测仍在边界分割粗糙、小目标漏检的问题。 [0007]本发明为解决上述技术问题而提供一种遥感影像变化检测方法,其该方法包括以下步骤: [0008]1)获取待检测的遥感影像对,分别为第一遥感影像和第二遥感影像,第一遥感影像和第二遥感影像尺度大小相同; [0009]2)构建变化检测模型,所述变化检测模型包括编码部分和解码部分,编码部分采用孪生网络,解码部分采用上采样网络,编码部分和解码部分采用注意力模块连接; [0010]所述孪生网络包括第一网络分支和第二网络分支,第一网络分支和第二网络均采用若干层残差连接模块进行特征提取,第一网络分支用于对第一遥感影像进行特征提取,以得到不同尺度的第一遥感影像特征,第二网络分支用于对第二遥感影像进行特征提取,以得到不同尺度的第二遥感影像特征;第一网络分支和第二网络分支之间通过密集连接方式将同样尺度的第一遥感影像特征和第二遥感影像特征进行叠加融合,得到不同尺度的融合特征; [0011]所述的注意力模块用于分别对不同尺度的融合特征进行特征增强处理;所述解码部分用于通过上采样网络将特征增强处理后的不同尺度特征进行特征恢复和融合,以得到变化检测结果。 [0012]本发明在编码部分选用能够共享权重的孪生网络的输入方式,将双时相影像分别输入相同的网络分支进行特征提取,通过共享权重减少过拟合现象,其中两个网络分支选用残差连接模块作为卷积单元分别提取影像的特征,加快了网络的收敛速度;同时利用一种密集连接方法,将影像在不断的降采样过程中损失的信息通过上采样逐层聚合,从而改善了网络对小目标的提取能力;并在编码部分和解码部分的横向连接处引入注意力模块以增强对变化信息的获取能力,提高了复杂背景下边界的区分能力;最后通过解码部分上采样将特征图恢复成原始影像大小,并输入分类层,得到准确的变化检测结果。 [0013]进一步地,所述的残差连接模块包括第一卷积层、第二卷积层、第一正则化层、第二正则化层、激活层和叠加模块,第一卷积层用于对输入的特征进行卷积操作,第一卷积层输出经过第一正则化层和激活层处理后依次输入到第二卷积层和第二正则化层,经过再次卷积和正则化处理后输入到叠加模块,用于对第二正则化层输出的特征和第一卷积层输出的特征进行叠加处理,叠加后的特征即为该残差连接模块的输出。 [0014]本发明的残差连接模块采用恒等快捷连接的思想,能够加快网络的收敛速度,提升检测效率。 [0015]进一步地,所述的密集连接包括对上采样层和叠加层,所述上采样层用于对第二网络分支中某一层残差连接模块的输出进行上采样,叠加层用于对上采样的结果与第二网络分支中上一层残差连接模块的输出与第一网络分支中对应层残差连接模块的输出进行叠加处理。 [0016]本发明将在编码部分得到的不同尺度的特征图通过密集连接不仅学习到了浅层的空间信息,而且将获得的深层语义信息传递给浅层,提高了对小目标变化信息的获取能力,解决了影像在不断降采样过程中信息损失的问题。 [0017]进一步地,所述的注意力模块采用卷积注意力模块。 [0018]本发明采用的卷积注意力模块增强了对必要特征的关注,而抑制了不必要的特征,增强了对变化信息的获取能力。 [0019]进一步地,所述的第一网络分支包括N层残差连接模块,第二网络分支包括N+1层残差连接模块,N大于等于3;其中第一网络分支的第一层残差连接模块的输入为第一遥感影像,输出为与第一遥感影像尺度大小相同的卷积特征;第一网络分支的第二层残差连接模块的输入为第一层残差连接模块的输出,输出为尺度大小是第一遥感影像1/2的卷积特征,第一网络分支的第N层残差连接模块的输入为第N-1层残差连接模块的输出,输出为尺度大小是第一遥感影像1/2N-1的卷积特征;第二网络分支的第一层残差连接模块的输入为第二遥感影像,输出为与第二遥感影像尺度大小相同的卷积特征;第二网络分支的第二层残差连接模块的输入为第一层残差连接模块的输出,输出为尺度大小是第一遥感影像1/2的卷积特征,第二网络分支的第N+1层残差连接模块的输入为第N层残差连接模块的输出,输出为尺度大小是第二遥感影像1/2N的卷积特征。 [0020]进一步地,所述的密集连接包括N个,第N个密集连接的上采样层的输入为第二网络分支的第N+1层残差连接模块的输出,第N个密集连接的叠加层用于对该密集连接的上采样层的输出、第一网络分支的第N层残差连接模块的输出以及第二网络分支的第N层残差连接模块的输出进行叠加处理,叠加结果为该密集连接的输出;第N-1个密集连接的上采样层的输入为第N个密集连接输出,第N-1个密集连接的叠加层用于对该密集连接的上采样层的输出、第一网络分支的第N-1层残差连接模块的输出以及第二网络分支的第N-1层残差连接模块的输出进行叠加处理,叠加结果为第N-1个密集连接的输出。 [0021]进一步地,所述的N为4。 [0022]进一步地,所述变化检测模型在训练时采用加权交叉熵和Dice Loss的混合损失函数。 [0023]进一步地,采用的加权交叉熵的损失函数为: [0024] [0025]其中i表示某一像素点;w是权重系数;yi、pi分别表示该像素点i的预测标签和像素点i属于变化类的概率。 [0026]进一步地,采用的Dice Loss的损失函数为: [0027] [0028]其中Y代表样本的真实值,表示样本的预测值。 附图说明 [0029]图1是本发明遥感影像变化检测方法采用的检测模块的网络结构示意图; [0030]图2是本发明所采用的残差连接模块的结构示意图; [0031]图3是本发明所采用的密集连接的示意图; [0032]图4是本发明所采用的卷积注意力模块的网络结构示意图; [0033]图5(a)是本发明实验过程中选择的区域1在T1时期的遥感影像; [0034]图5(b)是本发明实验过程中选择的区域1在T2时期的遥感影像; [0035]图5(c)是本发明实验过程中选择的区域1的T1和T2时期的变化真值图; [0036]图5(d)是本发明实验过程中采用FC-Siam-conv模型对选择的区域1遥感影像的变化检测结果示意图; [0037]图5(e)是本发明实验过程中采用FC-Siam-diff模型对选择的区域1遥感影像的变化检测结果示意图; [0038]图5(f)是本发明实验过程中采用DSAMNet模型对选择的区域1遥感影像的变化检测结果示意图; [0039]图5(g)是本发明实验过程中采用SUN-CD模型对选择的区域1遥感影像的变化检测结果示意图; [0040]图5(h)是本发明实验过程中采用本发明CDASNet模型对选择的区域1遥感影像的变化检测结果示意图; [0041]图6(a)是本发明实验过程中选择的区域2在T1时期的遥感影像; [0042]图6(b)是本发明实验过程中选择的区域2在T2时期的遥感影像; [0043]图6(c)是本发明实验过程中选择的区域2的T1和T2时期的变化真值图; [0044]图6(d)是本发明实验过程中采用FC-Siam-conv模型对选择的区域2遥感影像的变化检测结果示意图; [0045]图6(e)是本发明实验过程中采用FC-Siam-diff模型对选择的区域2遥感影像的变化检测结果示意图; [0046]图6(f)是本发明实验过程中采用DSAMNet模型对选择的区域2遥感影像的变化检测结果示意图; [0047]图6(g)是本发明实验过程中采用SUN-CD模型对选择的区域2遥感影像的变化检测结果示意图; [0048]图6(h)是本发明实验过程中采用本发明CDASNet模型对选择的区域2遥感影像的变化检测结果示意图; [0049]图7(a)是本发明实验过程中选择的区域3在T1时期的遥感影像; [0050]图7(b)是本发明实验过程中选择的区域3在T2时期的遥感影像; [0051]图7(c)是本发明实验过程中选择的区域3的T1和T2时期的变化真值图; [0052]图7(d)是本发明实验过程中采用FC-Siam-conv模型对选择的区域3遥感影像的变化检测结果示意图; [0053]图7(e)是本发明实验过程中采用FC-Siam-diff模型对选择的区域3遥感影像的变化检测结果示意图; [0054]图7(f)是本发明实验过程中采用DSAMNet模型对选择的区域3遥感影像的变化检测结果示意图; [0055]图7(g)是本发明实验过程中采用SUN-CD模型对选择的区域3遥感影像的变化检测结果示意图; [0056]图7(h)是本发明实验过程中采用本发明CDASNet模型对选择的区域3遥感影像的变化检测结果示意图; [0057]图8(a)是本发明实验过程中选择的区域4在T1时期的遥感影像; [0058]图8(b)是本发明实验过程中选择的区域4在T2时期的遥感影像; [0059]图8(c)是本发明实验过程中选择的区域4的T1和T2时期的变化真值图; [0060]图8(d)是本发明实验过程中采用FC-Siam-conv模型对选择的区域4遥感影像的变化检测结果示意图; [0061]图8(e)是本发明实验过程中采用FC-Siam-diff模型对选择的区域4遥感影像的变化检测结果示意图; [0062]图8(f)是本发明实验过程中采用DSAMNet模型对选择的区域4遥感影像的变化检测结果示意图; [0063]图8(g)是本发明实验过程中采用SUN-CD模型对选择的区域4遥感影像的变化检测结果示意图; [0064]图8(h)是本发明实验过程中采用本发明CDASNet模型对选择的区域4遥感影像的变化检测结果示意图; [0065]图9(a)是本发明消融实验过程中选择的在T1时期的遥感影像; [0066]图9(b)是本发明消融实验过程中选择的T2时期的遥感影像; [0067]图9(c)是本发明实验过程中选择的T1和T2时期的变化真值图; [0068]图9(d)是本发明消融实验过程中模型采用base的变化检测结果示意图; [0069]图9(e)是本发明消融实验过程中模型采用base+CBAM的变化检测结果示意图; [0070]图9(f)是本发明消融实验过程中模型采用base+DC的变化检测结果示意图; [0071]图9(g)是本发明消融实验过程中模型采用CDASNet的变化检测结果示意图; [0072]图9(h)是本发明消融实验过程中模型采用CDASNet的变化检测细节图。 具体实施方式 [0073]下面结合附图对本发明的具体实施方式作进一步地说明。 [0074]方法实施例 [0075]本发明基于UNet网络能够从多层路径中提取多尺度特征的思想,提出了CDASNet网络,整体结构如图1所示。该网络针对遥感影像变化检测数据的特点,在编码阶段采用了孪生网络的输入方式,通过共享权重减少过拟合现象,其中两个子网络选用残差连接模块作为卷积单元分别提取影像的特征,加快了网络的收敛速度;同时利用一种新的密集连接方法,将影像在不断的降采样过程中损失的信息通过上采样逐层聚合;并在编码阶段和解码阶段的横向连接处引入注意力模块增强对变化信息的获取能力,最后经过上采样将特征图恢复成原始影像大小,并输入分类层,得到变化检测结果。 [0076]具体而言,如图1所示,本发明进行遥感影像变化检测所采用的网络为CDASNet网络,该网络包括编码部分和解码部分,编码部分采用孪生网络,解码部分采用上采样网络,编码部分和解码部分采用注意力模块连接;孪生网络包括第一网络分支和第二网络分支,第一网络分支和第二网络均采用的若干层残差连接模块进行特征提取,第一网络分支用于对第一遥感影像进行特征提取,以得到不同尺度的第一遥感影像特征,第二网络分支用于对第二遥感影像进行特征提取,以得到不同尺度的第二遥感影像特征;第一网络分支和第二网络分支之间通过密集连接方式将同样尺度的第一遥感影像特征和第二遥感影像特征进行叠加融合,得到不同尺度的融合特征;注意力模块用于分别对不同尺度的融合特征进行特征增强处理;解码部分用于通过上采样网络将特征增强处理后的不同尺度特征进行特征恢复和融合,以得到变化检测结果。其中第一遥感影像和第二遥感影像指的是同一区域不同时间段影像。 [0077]第一网络分支包括N层残差连接模块,第二网络分支包括N+1层残差连接模块,N大于等于3;对本实施例而言,N为4,即第一网络分支包括4层残差连接模块,第二网络分支包括5层残差连接模块。其中第一网络分支的第一层残差连接模块的输入为第一遥感影像(T1时期的影像,简称T1),输出为与第一遥感影像尺度大小相同的卷积特征F11;第一网络分支的第二层残差连接模块的输入为第一层残差连接模块的输出F11,输出为尺度大小是第一遥感影像1/2的卷积特征F12;以此类推,第一网络分支的第4层残差连接模块的输入为第3层残差连接模块的输出F13,输出为尺度大小是第一遥感影像1/81的卷积特征F14。第二网络分支的第一层残差连接模块的输入为第二遥感影像(T2时期的影像,简称T2),输出为与第二遥感影像尺度大小相同的卷积特征F21;第二网络分支的第二层残差连接模块的输入为第一层残差连接模块的输出F21,输出为尺度大小是第一遥感影像1/2的卷积特征F22;以此类推,第二网络分支的第5层残差连接模块的输入为第4层残差连接模块的输出F24,输出为尺度大小是第二遥感影像1/16的卷积特征F25。因此,通过第一网络分支得到特征依次为F11、F12、F13、F14;第二网络分支得到的特征依次为F21、F22、F23、F24、F25[0078]图2所示,残差连接模块采用恒等快捷连接(Identity Shortcut Connection),包括第一卷积层、第二卷积层、第一正则化层、第二正则化层、激活层和叠加模块,第一卷积层用于对输入的特征进行卷积操作,第一卷积层输出经过第一正则化层和激活层处理后依次输入到第二卷积层和第二正则化层,经过再次卷积和正则化处理后输入到叠加模块,用于对第二正则化层输出的特征和第一卷积层输出的特征进行叠加处理,叠加后的特征即为该残差连接模块的输出。x是输入,目标函数H(x)将网络结构分解为两个不同的分支,一个分支是残差映射F(x),在该分支中x首先经过3×3的卷积层得到一个特征向量,然后利用正则化(Batch Normalization,BN)使该特征向量满足均值为0、方差为1的分布规律,之后选取ReLU非线性激活函数来减少网络的计算量并缓解过拟合现象,再经过第二个3×3的卷积层和BN层得到F(x),另一个分支是将经过3×3卷积层的输入信息x直接传递到输出,并与F(x)相加得到最终的输出结果,保留了原始输入信息的完整性。 [0079]第一网络分支和第二网络分支通过密集连接(Dense Connection,DC)进行连接,如图3所示,密集连接包括对上采样层和叠加层,其中上采样模块用于对第二网络分支中某一层残差连接模块的输出进行上采样,叠加层用于对上采样的结果与第二网络分支中上一层残差连接模块的输出与第一网络分支中对应层残差连接模块的输出进行叠加处理。由于本实施例中由于第一网络分支采用四层残差连接模块进行不同尺寸影像特征的提取,因此,也采用四个密集连接实现第一网络分支提取特征和第二网络分支提取特征的融合。对于第4个密集连接而言,第二网络分支的第5层残差连接模块提取得到原始影像1/16的特征F25,将得到特征F25输入到该密集连接的上采样层中进行上采样处理,得到原始影像1/8的特征,将该原始影像1/8的特征与第一网络分支第4层残差连接模块提取得到原始影像1/8的特征F14和第二网络分支的第4层残差连接模块提取得到原始影像1/8的特征F24进行叠加融合,得到特征图F4,再将F4经过上采样后与F13、F23在通道上叠加处理得到F3;依次类推,可以得到不同尺度的融合特征。 [0080]通过该密集连接方式,本发明能够将在编码阶段得到的不同尺度的特征图F1、F2、F3、F4通过单个跳跃连接作为解码阶段的输入,减少了因过多的跳跃连接带来的参数量。不仅学习到了浅层的空间信息,而且将获得的深层语义信息传递给浅层,提高了对小目标变化信息的获取能力。 [0081]由于高分辨率遥感影像背景复杂,仅仅依靠单一的模型进行特征提取,往往难以区分混合像元区域,同时在解码部分并不是所有的特征对模型都有相同的作用,因此在将编码部分各层的特征图F1、F2、F3、F4送入解码部分前引入卷积注意力模块(ConvolutionalBlock Attention Module,CBAM)增强对必要特征的关注而抑制不必要的特征,得到的新特征图F1′、F2′、F3′、F4′。然后将F4′与F25在解码阶段经过上采样后得到的特征进行融合,按此方式得到特征D4,将特征D4经过上采样后与F3′进行融合得到特征D3,以此类推,最终可得到特征D1。最终将特征D1经过1×1卷积降到2维,生成最终的预测图。 [0082]图4所示,本发明采用的卷积注意力模块CBAM将通道注意力子模块和空间注意力子模块串联起来,并通过引入全局池化来捕获空间全局信息。通道注意力子模块的构造与SE模块的构造类似,不同之处是它将最大池化和平均池化操作并行来聚合全局信息,在空间维度上对特征进行压缩;而空间注意子模块是对特征的空间关系进行建模,在通道上对特征进行压缩。给定一个输入特征映射X∈RC×H×W,C、H、W分别为特征的通道数、宽度和高度,经通道注意力子模块得到一个一维的通道注意向量Mc∈RC×1×1,然后与输入的特征相乘后一同经过空间注意力子模块生成一个二维的空间注意向量Ms∈R1×H×W,最终得到一个新的特征映射F′。 [0083]在遥感影像变化检测中,存在明显的类别不平衡问题,即不变像素的数量远远大于变化像素的数量,因此模型训练时会更侧重学习大类别数据而忽视小类别数据,从而使得小目标变化情况容易被漏检。为了削弱样本不平衡的影响,增加变化样本在整幅影像的权重,本发明使用了加权交叉熵(Weighted Cross-Entropy,WCE)和Dice Loss的混合损失函数L,其定义为: [0084]L=Lwce+Ldice                   (1) [0085]加权交叉熵损失函数可以表示为: [0086] [0087]其中,i表示某一像素点;w是权重系数;yi、pi分别表示该像素点i的预测标签和像素点i属于变化类的概率。 [0088]利用Dice Loss损失函数来计算变化样本真值与预测变化样本的相似度。DiceLoss损失函数表示如下: [0089] [0090]其中,Y代表样本的真实值,代表样本的预测值。 [0091]为了进一步说明本发明遥感影像变化检测方法(CDASNet)的检测效果,下面对该方法进行仿真实验,本实验选取了两组遥感影像数据集,分别是LEVIR-CD、CDD数据集。其中,LEVIR-CD数据集通过Google Earth收集了637对大小为1024×1024像素的高分辨率遥感影像,涵盖了美国德克萨斯州的20个不同地区,时间跨度为5~14年,分辨率为每像素0.5m,该数据集重点关注建筑物的变化。由于遥感影像尺寸较大,无法直接将其输入模型中,同时为了避免在切片边缘处造成信息丢失的现象,本实验将LEVIR-CD数据集按20%的重叠度切分成256×256的切片,其中70%为训练样本,10%为验证样本,剩余为测试样本。CDD数据集是由Lebedev提供的一个公开卫星影像对数据集。该数据集是由Google Earth获得的覆盖同一区域随季节变化的遥感影像,共有11对多光谱影像对,其中包括7对大小为4725×2200像素的随季节变化的影像,用于创建手动标签图,以及4对大小为1900×1000像素的影像,用于手动添加其他对象。该数据集由多源遥感影像组成,空间分辨率为每像素3cm-100cm,其中两时相影像之间的季节变化很大,在生成标签图过程中,只将对象的出现和消失视为影像的变化,而忽略由于季节而引起的变化。本实验在原始影像上进行了裁剪和旋转,生成了10000张训练样本、3000张验证样本和3000张测试样本,其中样本大小为256×256像素。 [0092]遥感影像变化检测在本质上可以被视为像素二分类问题,常用精度评价指标有准确率(Precision,P)、召回率(Recall,R)、F1分数(F1-score,F1)以及交并比(IntersectionOver Union,IOU)。准确率越高说明预测结果产生的误检越低,模型的精度越好;召回率越高表明预测结果中正样本被最大程度检测出来,模型的价值越高;F1分数是准确率和召回率的调和平均值,F1分数值越大说明模型的整体预测结果越好;IOU是正样本预测结果和真实值的交集与并集的比值。其表达公式如下: [0093] [0094] [0095] [0096] [0097]其中TP表示正样本被预测为正样本的像素数,FP表示负样本被预测为正样本的像素数,TN表示正样本被预测负样本的像素数,FN表示正样本被预测为负样本的像素数。在本实验中,正样本为变化像素,负样本为未变化像素。 [0098]为了更好的说明本发明效果,现将本发明与当前主流采用的孪生网络变化检测方法FC-Siam-conc、FC-Siam-diff、DSAMNet以及SUNet-CD进行比较,各网络实验均在相同的环境下进行,且训练参数保持一致。实验中均采用Linux下的Pytorch深度学习框架,硬件环境为CPU Inter(R)Core(TM)i9-9900K,GPU GTX2080Ti,11G显存。在训练过程中选用Adam作为优化器,批处理大小(batch size)为4,总迭代次数EPOCH为100,初始学习率lrbase为0.0001,并采用固定长度衰减策略调整学习率,学习率的衰减歩长step_size为8,衰减因子gamma设置为0.5。 [0099]为了更加全面地比较各方法在复杂背景下的变化检测结果,从LEVIR-CD和CDD数据集中分别选出两个典型的区域进行分析,分别记为区域1~4。其中,区域1为包括小型且规律性排列建筑物的影像,用来探究上述网络对小尺寸地物细节的检测性能;区域2涵盖了颜色特征变化明显且范围较大的建筑物,用于讨论各网络对大尺寸地物的区分能力;利用区域3中含有车辆的小目标地物影像探讨了不同网络对于类别不均衡条件下的检测性能;区域4主要用来探究各网络对于线状地物的提取能力。 [0100]对于区域1,由于变化区域周围存在光谱特征相似的未变化地物,如图5(a)和图5(b)所示,分别为T1和T2时期的遥感影像图,图5(c)为T1和T2时期变化的真值图,采用FC-Siam-conv、FC-Siam-diff、DSAMNet、SUN-CD模型的检结果分别如图5(d)5(e)、5(f)和5(g)所示,从中可以看出,这几种方式都未能将左下角微小的变化建筑物区域检测出来。某些边缘隐藏在阴影中导致了FC-Siam-conv难以准确地区分建筑物的边界,产生边缘不完整和粘连现象;FC-Siam-diff存在明显的漏检现象;DSAMNet和SUN-CD因为分别使用了深度度量模块和通道注意力模块,检测效果较前两种网络有相应提升,但都容易受阴影和树木的影响出现微小误检现象。本发明采用的CDASNet的检测结果如图5(h)所示,引入卷积注意力模块,有效地区分了边界信息,并利用密集连接融合了高低级特征,较为完整地检测出小尺度的变化区域,检测结果明显优于其他网络。 [0101]对于区域2,如图6(a)和图6(b)所示,分别为T1和T2时期的遥感影像图,图6(c)为T1和T2时期变化的真值图,采用FC-Siam-conv、FC-Siam-diff、DSAMNet、SUN-CD模型的检结果分别如图6(d)6(e)、6(f)和6(g)所示,从中可以看出,FC-Siam-conv误检现象明显;FC-Siam-diff和SUN-CD都在不同程度上将变化区域周围的草地误判为发生了变化;DSAMNet能够提取深层特征,较为准确地检测出变化的范围,但是对边缘细节信息提取能力较弱。本发明采用的CDASNet(如图6(h))可以将颜色变化明显的区域完整地检测出来,并且具有更为平滑的边缘。 [0102]对于区域3,如图7(a)和图7(b)所示,分别为T1和T2时期的遥感影像图,图7(c)为T1和T2时期变化的真值图,采用FC-Siam-conv、FC-Siam-diff、DSAMNet、SUN-CD和CDASNet模型的检结果分别如图7(d)7(e)、7(f)、7(g)和7(h)所示。对于区域4,如图8(a)和图8(b)所示,分别为T1和T2时期的遥感影像图,图8(c)为T1和T2时期变化的真值图,采用FC-Siam-conv、FC-Siam-diff、DSAMNet、SUN-CD和CDASNet模型的检结果分别如图8(d)8(e)、8(f)、8(g)和8(h)所示。从区域3和区域4可以发现,FC-Siam-conv、FC-Siam-diff、DSAMNet只能检测出很少的变化区域,漏检现象明显。SUN-CD利用密集跳跃连接和通道集成模块融合多阶段特征,使得对小目标物体的检测能力提升,但是由于阴影和树木的遮挡,尤其是目标的纹理特征与不变区域相似时,依然存在漏检、误检的现象,对于道路的检测容易出现断裂、检测不完整的问题。本发明提出的CDASNet有效地提高了对小目标检测能力,甚至在阴影下仍能完整地检测出变化区域,边界定位也更为准确,同时对于线状地物检测结果更加理想。 [0103]为了对各检测结果进行定量分析,表1统计了各方法在LEVIR-CD数据集和CDD数据集上的评价结果。在数据集LEVIR-CD中,FC-Siam-conv和FC-Siam-diff得到的F1分数精度相对较低,但由于FC-Siam-conv在解码结构中融合了从编码结构获得的特征,使得F1分数高于FC-Siam-diff。DSAMNet采用深度度量模块获取影像中的深层特征,在召回率、F1分数以及交并比上的精度优于FC-Siam-conv和FC-Siam-diff。SUN-CD的准确率、召回率、F1分数以及交并比分别为90.20%、87.26%、88.71%、79.71%,其中准确率达到了各网络结果的最优值,其余结果为次优值。本发明采用CDASNet在召回率、F1分数以及交并比均达到了实验结果中的最优值,其中召回率、F1分数相较于次优值分别提高了1.29%,0.31%,准确率略低于次优值。 [0104]在数据集CDD中,FC-Siam-diff和DSAMNet在F1分数上精度低于其他网络,SUN-CD在实验结果的各类评价指标中均达到了次优值,本发明采用CDASNet的准确率、召回率、F1分数以及交并比分别为95.54%、93.37%、94.44%、89.47%,相较于次优值分别提高了0.87%、1.65%、1.26%和2.25%。 [0105]表1 [0106] [0107]为了探究密集连接和CBAM对网络的影响程度,分别在两个数据集上进行消融实验,具体实验结果如表2所示。在LEVIR-CD数据集中,网络加入CBAM相比于基础网络F1分数提高了0.61%,采用密集连接后F1分数提高到了89.02%。在CDD数据集中,网络加入CBAM使F1分数提高了2.49%,采用密集连接后F1分数提高到了94.44%,相对于基础网络提高了3.89%。因此证明了各模块在网络中的必要性。 [0108]表2 [0109] [0110]本发明消融实验过程中选择的不同时期的遥感影像如图9(a)和图9(b)所示,其对应的变化真值图如图9(c)所示,采用base、base+CBAM、base+DC和CDASNet模型的变化检测结果分别如图9(d)9(e)、9(f)和9(g)所示。通过对比可以发现,CBAM作用得到的检测结果边缘较为准确,但是未能将小目标地物的变化检测出来,而DC作用得到的边缘误判较多,易产生粘连现象,但是却能够准确地识别小目标地物的变化,检测细节如图9(h)所示。CDASNet结合了两个模块的优势,达到了最好的检测效果。 [0111]上述方法可以作为一种计算机程序在计算机设备上运行,以实现本发明描述的变化检测方法。 [0112]本发明提出了一种CDASNet网络模型,并基于该网络模型进行遥感影像变化检测,通过利用孪生网络的输入方式更好地适应了变化检测任务,并采取了新的密集连接方式融合了高低级特征层间的信息,从而改善了网络对小目标的提取能力,同时在网络中引入注意力机制增强对变化区域的关注度,提高了复杂背景下边界的区分能力。并在LEVIR-CD和CDD数据集上进行了实验,结果表明CDASNet能够适应复杂背景下的遥感影像变化检测任务,且优于当前主流的变化检测网络。
现在,一起体验智慧芽的产品和服务
自动注册,无需人工审核,即可立即开始查询专利
立即注册
澳门正版图库

AI助手