Landsat影像冰川提取的上下文感知语义分割网络法.docx
- 文档编号:29600858
- 上传时间:2023-07-25
- 格式:DOCX
- 页数:14
- 大小:797.03KB
Landsat影像冰川提取的上下文感知语义分割网络法.docx
《Landsat影像冰川提取的上下文感知语义分割网络法.docx》由会员分享,可在线阅读,更多相关《Landsat影像冰川提取的上下文感知语义分割网络法.docx(14页珍藏版)》请在冰豆网上搜索。
Landsat影像冰川提取的上下文感知语义分割网络法
摘要:
针对冰川提取存在云阴影、山体阴影、结冰湖泊等同物异谱、同谱异物导致难以有效区分的问题,设计了一种用于冰川提取的上下文感知深度学习语义分割网络。
首先引入resnet50作为基准编码网络,以实现冰川特征提取的精度和效率平衡,其次针对现有语义分割网络存在上下文信息学习不足方面,设计了包括空洞卷积组块和最大池化组块的上下文信息提取层,以便更好地提取冰川的上下文信息。
选择多景样本数据和验证数据的多源遥感影像进行试验,与现有基于特征指数的冰川提取方法、其他深度学习语义分割网络方法进行定性和定量对比,结果表明本文网络方法在结冰湖面等误提取,阴影的漏提取,以及提取结果完整性等方面,具有较好的效果,验证了本文方法的有效性与稳健性。
关键词:
深度学习 语义分割 冰川提取
Landsatimageglacierextractionbasedoncontextsemanticsegmentationnetwork
Abstract:
Accordingtotheglaciercharacteristicsofremotesensingimage,acontext-awaredeeplearningsemanticsegmentationnetworkforglacierextractionisproposedbasedontheglaciercharacteristicsofremotesensingimage.Firstly,resnet50isintroducedasthefeatureextractionnetworktoachievetheaccuracyandefficiencybalanceofglacierfeatureextraction.Secondly,thecontext-informationlearningoftheexistingsemanticsegmentationnetworkisdesigned.Thecontextinformationincludingthedilated-convolutionalblockandthemax-pooledblockisdesignedtobetterextractthecontextinformationoftheglacier.Multipleremotesensingtrainedimagesandtestedimagesareselectedforexperiment,whichisqualitativelyandquantitativelycomparedwiththeexistingglacierfeatureindexextractionmethodandothersemanticsegmentationnetworkmethods.Theresultsshowthatthenetworkmethodinthefrozenlakesurface,theleakageofthemountainshadow,cloudshadowandtheintegrityoftheextractionresultshaveagoodeffect,whichverifiestheeffectivenessandrobustnessoftheproposedmethod.
Keywords:
deeplearning semanticsegmentation glacierextraction
掌握冰川变化情况对于研究全球气候变化具有重要意义。
传统的冰川调查方法需要实地外业考察,存在耗时费力、难以大面积调查的局限性。
基于遥感影像的监测方法能够快速准确地获取冰川空间分布,且成本低廉,因此成为冰川监测的研究热点[1-3]。
具有时间跨度长、光谱分辨率高、幅宽大等优点的Landsat影像,是开展大尺度范围冰川监测的重要数据源。
目前,基于遥感影像的冰川监测方法主要有两类:
①波段组合阈值方法[4-8],如归一化雪指数(normalizedsnowindex,NDSI)指数[8]、自动冰川提取指数(automatedglacierextractionindex,AGEI)[6]等,该类方法通过对冰川敏感的特征波段进行数学运算方式组合,通过设定阈值,自动或半自动提取冰川范围;②传统机器学习分类方法[9-12],利用极大似然、决策树分类、神经网络、支持向量机等机器学习分类器,依靠人工勾选的样本像素进行学习,然后用于冰川提取,取得了一定的试验效果。
以上两种方法在局部区域或单一影像上能够达到较好的效果,但是对于大尺度范围,由于云阴影、山体阴影、水面结冰产生的同物异谱、同谱异物等复杂场景,难以达到较好的稳健性和较高的精度。
深度学习方法能够从样本中自动学习特征,目前可以实现端到端的训练、预测,在一些遥感影像地物提取中取得了较好效果。
例如文献[13]设计了一种编码-解码语义分割网络,其主要思路是对现有能有效提取部分阴影遮挡区域的道路网络,展示了深度学习方法的强大应用潜力。
文献[14]利用UNet深度学习语义分割网络[15],提取了不同尺度冰川断裂线。
然而,通用深度学习语义分割网络未对冰川特征等进行针对性设计,在阴影遮挡等复杂场景区域,容易造成漏提取或误提取现象,在一定程度上影响了整体提取精度。
针对这一问题,本文设计了一种适合冰川提取的上下文感知语义分割网络,并利用Landsat7、Landsat8多源遥感影像进行试验,通过与传统波段组合方法、其他深度学习语义分割网络进行对比,验证了本文网络的有效性与稳健性。
本文主要创新点如下:
(1)引入深度学习语义分割方法进行冰川提取,改善了传统冰川提取方法存在的结冰水面误提取和提取结果存在“噪声”“空洞”的问题。
(2)针对冰川的本身特点,在通用深度学习语义分割网络的基础上,改进设计了一种有效的上下文感知深度学习语义分割网络,有效提高了冰川提取精度。
1上下文感知深度学习语义分割网络
针对冰川影像上存在的阴影遮挡等复杂场景,现有冰川提取算法难以有效解决的问题,设计了一种上下文感知的深度学习语义分割网络,主要分为3个部分:
编码层、上下文信息提取层、解码层。
通用自然图像深度学习语义分割网络,如Segnet、UNet等[16],主要利用编码与解码两个关键部分实现图像像素级分割。
该类网络实现了像素级的类别判定,但是在上下文信息方面仍然存在一定的不足,直接使用通用语义分割网络进行冰川提取,对于高山背阳面阴影、水面结冰等复杂场景,提取的冰川结果会存在一定程度的误提取和漏提取。
针对这类问题,本文基于通用深度学习语义分割网络,改进设计了一种对上下文信息敏感的语义分割网络,网络整体架构如图1所示。
网络架构分为3层:
编码层、上下文信息提取层、解码层。
其中上下文提取层主要目的是为了学习更为有效的上下文信息,以得到更高精度的提取结果。
图1 冰川提取语义分割网络Fig.1 Thesemanticsegmentationnetworkofglacierextraction
图选项
1.1编码层
编码层作为主干特征提取部分,特征提取的优劣对于后续地物区分具有重要的意义。
目前语义分割网络中常用的主干特征提取网络有VGG16、resnet18、resnet50、resnet101等。
相关研究表明,resnet残差网络理论上能够设计成极深的网络,且有效解决了传统神经网络随着深度加深,出现的梯度消失问题,最终学习到的特征将更加有效,但是随着网络深度的不断加深,对硬件算力需求也更高,同等硬件条件下训练时间也会相应增加,为了取得精度与效率两者之间的平衡,本文采用resnet50残差网络作为主干特征提取网络[17]。
在具体的语义分割网络设计中,由于原始的resnet50网络是图像块分类网络,与语义分割网络差距较大,因此将原始resnet50中的全连接层、分类层去除,并更改最后一个最大池化层步长为1,最终的特征图大小为原图的1/16,最终输出的特征作为下一网络层的有效输入。
1.2上下文信息提取层
上下文信息提取层是上下文感知语义分割网络的核心部分。
该部分设计的主要目的是为了改善冰川影像上存在的山体阴影、结冰湖泊等同物异谱、同谱异物问题。
上下文信息提取层主干分为空洞卷积组块和最大池化组块。
普通的卷积块,例如3×3、5×5等,只能感知相邻像素信息,为了获取更大尺度的上下文信息,则需要扩大卷积核大小,但是会大大降低计算效率,空洞卷积有效解决了这一问题,该卷积块巧妙地利用空洞卷积进行大卷积核运算,在提高计算效率的同时,能够学习更为有效的上下文语义特征。
对于通用的语义分割网络,空洞卷积块只是作为独立网络层进行网络设计,对于阴影遮挡、结冰湖泊等复杂场景,单一尺度的卷积模块,仍然难以提取足够的上下文特征,针对这一问题,本文通过级联的方式[18-19],组合多个不同尺度的空洞卷积模块,并行组成空洞卷积组块,然后以跳跃连接的方式对多尺度上下文信息特征进行融合,提取更为稳健的上下文特征,改善单一尺度层特征表达不足。
空洞卷积组块结构如图2所示。
图2 空洞卷积组块Fig.2 Dilationconvolutiongroup
图选项
在提取不同尺度语义特征的基础上,语义分割网络通常采用单一尺度最大池化层进行特征降维与聚合,对于复杂的上下文特征地物,容易造成部分语义特征丢失。
本文通过设计多个不同大小的最大池化层,以级联的方式进行多尺度特征提取,改善单一层特征学习的不足,最大池化组块的具体设计如图3所示。
具体地,将输入特征通过4个不同大小的最大池化模块,大小分别为2、3、5、6,然后利用1×1反转卷积块实现特征图大小一致,最后将输入特征与4个最大池化特征进行特征叠加,实现对不同尺度地物的特征学习。
图3 最大池化组块Fig.3 Max-poolinggroup
图选项
从设计的目的上来说,空洞卷积组块主要是在提高计算效率的同时,获取不同尺度的冰川语义特征,通过连接不同深度的空洞卷积层来获取更为丰富的特征,而最大池化组块的目的是聚合不同尺度的语义特征,从而获取有效的全局信息,基于这两个模块,得到更为有效和稳健的上下文语义信息,从而提高冰川提取精度。
1.3解码层
解码层主要采用反转卷积(上卷积)、最大池化上卷积等方法,实现特征的上采样,最终目的是实现像素级图像分割。
本文采用经典的反转卷积方法[20],实现特征图上采样。
为了提高计算效率与减少网络参数量,当特征经过上下文信息提取层后,连接一个4倍大小的反转卷积模块实现特征图上采样,同时将解码层相同大小的特征与该层特征进行跳跃连接,学习更加稳健的特征,提高最终的冰川提取精度。
为了得到与原图分辨率一致的概率输出图,最后同样采用一个4倍大小的反转卷积模块,实现语义分割结果与原始图像大小一致性的目的。
1.4损失函数
对于冰川提取二分类问题,采用交叉熵损失函数进行评定。
该函数公式如下图所示
(1)
式中,yi表示第i个像素的真实值;ai表示sigmoid函数输出的概率,值域为(0,1),越接近于1,属于冰川的概率越大。
通过不断学习网络权值参数,使L的值趋于最低,从而达到网络收敛的目的。
2试验结果与分析
中国西藏地区具有海拔高、冰川覆盖范围大、类型复杂的特点,本文选择该地区的Landsat系列影像进行冰川提取试验。
为了减少季节性积雪对冰川的影响,选择2000、2015、2018年夏季Landsat7、Landsat8不同传感器数据作为试验数据,试验数据情况见表1。
表1 试验数据Tab.1 Testdata
试验数据
采用波段
景数
样本数据
L7
(B6B4B2)
4
L8
(B7B5B3)
9
验证数据
L7
(B6B4B2)
36
L8
(B7B5B3)
92
表选项
由于冰雪在短波红外波段、近红外波段、绿波段呈现较大的光谱反射差异,因此利用这3个波段进行假彩色组合,然后进行均值方差归一化处理,最后灰度拉伸至0~255范围,完成多源影像预处理。
选择Landsat影像的局部区域,进行裁剪、背景去除等处理,作为训练样本。
训练标签基于专家知识人工勾画实现,由于计算机硬件显存限制,将所有训练样本、训练标签裁剪至512×512像素大小,共得到831个训练样本块。
部分样本影像与标签如图4所示,右边两景为Landsat8假彩色影像,左边两景为Landsat7影像,样本包含了山体阴影遮挡、结冰湖面等容易产生误提取的情况,以提高模型对冰川的识别能力。
样本数据与验证数据数量见表1,其中手工勾画区域作为真值参考。
已有相关研究表明,随着样本数量的增加,精度会呈现一定程度的提高[16],因此在实际训练中,采用随机旋转、反转、噪声添加等方式,对已有冰川样本进行有效扩充。
图4 训练样本与标签Fig.4 Traindataandlabel
图选项
深度学习平台采用Matlab2019a,硬件采用NVIDAQuadroP40008GBGPU单显卡、32GBDDR4运行内存。
网络训练参数为:
最大迭代次数为60,初始学习率为0.005,批量样本数为8个,采用随机梯度下降方式进行参数寻优,整体持续训练时长为8.1h。
2.1总体提取效果
为了验证本文设计的冰川提取语义分割网络的有效性,分别采用自动冰川提取指数(automaticglacierextractinex,AGEI)[6]、UNet[14]、MSCFF(multi-scaleconvolutionfeaturefusion,MSCFF)[21]进行冰川提取,并用准确率、召回率、F1-score等语义分割精度评价指标进行精度评价,3个指标计算公式如式
(2)—式(4)所示。
AGEI自动冰川提取指数方法的核心思想是:
利用冰川在短波红外、近红外、红波段的光谱差异构建了冰川特征波段指数,然后设定阈值提取冰川边界,具体的参数按照原文推荐,设置为2。
UNet深度学习语义分割网络原本是用于医学图像处理领域,由于其具有训练样本少、精度高等特点,在遥感领域也得到了较为广泛的应用,是一种通用成熟的语义分割网络。
MSCFF深度学习语义分割网络是武汉大学于2019年提出的新型云检测语义分割模型,其主要思想是利用多尺度上下文特征进行云提取,在中高分辨率多源遥感影像,有效提取了云与云阴影信息。
由于云层的几何形状、上下文信息与冰川较为类似,因此本文的语义分割网络与MSCFF语义分割网络,两者可比性较高。
UNet与MSCFF语义分割网络,在参数设置中,同样选择随机梯度下降算法进行参数寻优,批量训练样本个数为8,最大迭代次数分别为40次、60次。
(2)
(3)
(4)
式中,TP表示像素标签为冰川,预测也为冰川;TN表示像素标签为背景,预测也为背景;FP表示像素标签为背景,预测为冰川;FN表示像素标签为冰川,预测为背景。
对每一景验证数据进行精度评价取平均值,各方法的最终总体精度评价见表2。
可以看出,本文方法在3个指标均取得最高值,证明了本文方法的有效性和稳健性。
为了更为有效对比算法效果,选取了验证数据集中包含湖面结冰、山体阴影、云阴影等复杂场景的遥感影像,分别与AGEI方法、其他语义分割网络方法进行对比。
表2 与其他方法精度对比Tab.2 Comparisonwithothermethods
方法
准确率
召回率
F1-score
AGEI
0.8856
0.7249
0.4187
UNet
0.9648
0.8321
0.6037
MSCFF
0.9791
0.8247
0.6152
本文方法
0.9863
0.8674
0.6541
表选项
2.2与AGEI方法对比
选择ID为L7_142039_20000926的Landsat7影像进行对比,对比结果如图5所示。
从试验结果可以看出,AGEI方法不仅将部分结冰水面、河流(图5(a)蓝色区域所示),影像边缘区域(图5(a)红色区域所示)提取为冰川,而且提取结果具有较多的“噪声”“空洞”,尤其是冰川与其他地物邻接区域较为严重(图5(a)中黄色区域所示),这是传统波段组合方法难以解决的问题;本文方法冰川提取结果有效区分了结冰水面与河流,且提取冰川区域边缘平滑,与真值图像较为接近,视觉效果更为理想。
图5 不同算法提取结果Fig.5 Theglacierextractionresultsofdifferentmethods
图选项
从图5(a)局部区域定性分析来看(黄色区域),AGEI算法提取的冰川区域,内部出现局部空洞现象,这是由于夏季积雪融合,冰川类型更为复杂,而仅依靠冰川在不同波段的光谱差异进行区分,难以得到高精度提取结果,普适性较低。
AGEI算法通过设定阈值的方式进行冰川与非冰川区域判定,对于内部常年积雪区域能够得到较好的试验效果,但是对于冰川与裸土的边界区域,则无法有效区分,容易出现漏提取与误提取现象,因此边界区域出现了“锯齿”现象。
本文的上下文感知语义分割网络,通过学习冰川像元的多尺度上下文信息,能够感知不同冰川类型的语义信息,因此有效消除了内部“空洞”现象,改善了边界“锯齿”现象。
定量精度评价结果见表3,可以看出,本文方法冰川提取精度在准确率、召回率、F1-score3个指标均高于AGEI指数方法,验证了深度学习语义分割方法相比于传统波段方法有效性。
表3 与现有冰川提取方法精度对比Tab.3 ComparetoStateofartglacierextractionmethod
算法
准确率
召回率
F1-score
AGEI
0.9786
0.9373
0.5968
本文方法
0.9837
0.9974
0.6749
表选项
2.3与其他语义分割方法对比
选择ID分别为LC08_L1TP_146037_20150908、L7_143038_20000613的Landsat8、Landsat7影像进行对比试验,对比结果如图6所示。
可以看出:
①在Landsat7影像上,UNet网络提取效果精度较低,主要是由于部分结冰水面被误识别为冰川;②Landsat7影像的边缘部分,UNet和MSCFF网络均产生了误识别现象;③针对黄色矩形区域,MSCFF和本文方法均能有效识别出结冰水面,主要是由于两个方法均采用了多层空洞卷积模块,提取了更为稳健的上下文信息,而UNet网络只是通过普通卷积块提取特征,对空间上下文信息感知不足,因此产生了误识别现象;④Landsat8影像上,从局部山体阴影遮挡区域来看,UNet网络在阴影区域出现的漏提取现象较为严重,MSCFF网络同样存在少量漏提取区域,而本文网络则有效提取了不同阴影区域的冰川。
图6 不同语义分割算法提取结果(第1、2行为Landsat7影像整体和局部、第3、4行为Landsat8影像整体和局部)Fig.6 Glacierextractionresultsofdifferentsemanticsegmentationmethods
图选项
图6中Landsat7影像的湖面出现了结冰现象,与冰川光谱特征极为相似,但是内部纹理与冰川区域存在一定差异,随着湖泊深度的不断增加,纹理特性更为光滑。
Landsat8影像上存在的山体阴影现象,是影响冰川提取精度的主要因素,从提取的局部效果来看,UNet网络结冰湖泊误提取较为明显,MSCFF网络提取效果较好,仅在湖泊边界区域出现少量误提取。
对于山体阴影现象,MSCFF网络同样取得了较UNet网络更为有效的结果,但是对于山体阴影,两者提取的结果内部出现了“空洞”现象。
从语义分割网路架构进行分析,MSCFF网络设置了多个空间特征感知模块,并且采用了膨胀卷积的方式进行特征提取,然后对不同尺度提取的语义特征进行跳跃连接,实现了多尺度特征融合,这种方式架构上形式优美,且能有效获取上下文信息,但是网络架构宽度较为有限,仅在上一层特征上进行单一尺度特征提取,本文设计的上下文感知模块,则采用级联方式,在同一网络层,设置多个尺度的特征提取模型,获取的语义信息更为丰富,因此在提取的结果,视觉效果更为理想,尤其是结冰湖面、山体阴影等复杂场景。
定量精度评价见表4,可以看出,本文方法在3个指标方面,均取得了更优的试验结果。
对于Landsat7影像上,UNet语义分割网络由于产生了部分误提取现象,因此F1-score指标较低,而MSCFF语义分割网络容易产生小面积冰川漏提取现象,因此召回率较低。
表4 不同语义分割方法的精度Tab.4 Theaccuracyofdifferentsemanticsegmentationmethods
算法
Landsat7影像冰川提取精度
Landsat8影像冰川提取精度
准确率
召回率
F1-score
准确率
召回率
F1-score
UNet网络
0.9873
0.9150
0.5833
0.9890
0.8889
0.8327
MSCFF网络
0.9922
0.8048
0.5826
0.9898
0.8426
0.8363
本文算法
0.9946
0.9261
0.7692
0.9913
0.9092
0.8665
表选项
3结论
基于多源遥感影像进行冰川提取,在充分分析冰川的语义和细节特征基础上,本文设计了一种有效的端到端上下文感知深度学习语义分割网络,在编码层采用resnet50残差网络作为主干特征提取网络,构建了一种新的上下文信息提取层。
核心思想是:
在多尺度空洞卷积的基础上,增加提取深度,并且聚合不同尺度的语义特征,在顾及效率的同时,提高语义分割网络的上下文感知能力,最终较好地解决了云阴影、山体阴影、结冰水面等同物异谱、异物同谱问题。
通过与现有方法、其他语义分割方法进行对比,从试验结果来看,该网络有效提取了冰川区域,验证了该网络的高精度与稳健性。
本文使用了Landsat7、Landsat8多种影像作为测试数据源,下一步工作中将国产影像系列等数据纳入测试数据源,提高模型的泛化能力,并应用到大规模工程生产中。
此外,样本制作是耗时较长的工作,如何提高样本制作效率也是后续的工作重点。
随着计算机视觉领域语义分割算法的不断发展,目前已经出现了自动语义分割网络设计[22],展示了较大的应用潜力,下一步工作将开展自动网络设计算法应用到冰川提取中,提高冰川提取效率。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Landsat 影像 冰川 提取 上下文 感知 语义 分割 网络
![提示](https://static.bdocx.com/images/bang_tan.gif)