CN114862871B - 一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法 - Google Patents

Abstract

本发明涉及一种基于SE‑UNet深度学习网络的遥感影像小麦种植区域提取方法，与现有技术相比解决了对遥感影像小麦区域提取在效率和准确性方面存在局限性的缺陷。本发明包括以下步骤：基础数据的获取；小麦种植区域提取网络的构建；小麦种植区域提取网络的训练；待提取遥感影像的获得；遥感影像小麦种植区域的提取。本发明能够提高遥感影像小麦区域提取的精度和效率，可为大范围冬小麦种植面积统计提供依据。

Description

一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提 取方法

技术领域

本发明涉及遥感图像处理技术领域，具体来说是一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法。

背景技术

遥感技术由于其大面积同步观测、成本低、数据综合性强、能够时空动态监测等特点，较大程度地避免了人为因素的影响，被广泛应用于农业遥感监测的各个方面，尤其是农作物种植面积提取、农作物长势监测、农作物产量估算及农作物病虫害监测等研究。

目前，用于作物种植面积监测的影像有高、中、低分辨率影像，如黄健熙等人以时序MODIS数据作为数据源提取冬小麦的空间分布，但由于数据源为中低分辨率遥感影像，不能很好的满足应用需求。李晓慧等人利用多时相Landsat-8OLI影像，结合光谱角填图和决策树分类提取大同市新荣区东部地区主要农作物分类情况，总体精度达到85.34％；贺原惠子等利用随机森林算法，结合典型冬小麦种植区光谱特征、纹理特征和主成分特征在Landsat-8OLI影像上实现了冬小麦地块的特征选择和快速提取，总体精度可达84.85％；赵叶等基于Landsat-8OLI影像，采用HSV色彩空间变换法，通过地物在H-NDVI上的差异，设置合理的阈值区分冬小麦和非冬小麦，最后提取了河南省中南部冬小麦种植面积；王冬利等人以归一化植被指数(NDVI)为冬小麦信息识别指标，基于GF-1卫星数据和非监督分类模型，对河北省辛集市的冬小麦种植面积进行提取；王蓉等人以Sentinel-2A影像为数据源，选择主成分(PCA)、红边归一化植被指数(RENDVI)、纹理特征等3个特征变量，采用随机森林算法并结合数字高程模型(DEM)提取冬小麦种植面积。

然而，传统的监督分类方法和非监督分类方法，仅能提取图像的颜色、形状、纹理等低层特征，不能提取更高层语义特征，其分类结果很容易受到影像同物异谱、异物同谱等现象的影响。

近几年来，深度学习在图像处理、自然语言处理、数据分析等领域取得了大量关键性突破，成为当今最受关注的科学研究之一。

Long等人在CNN的基础上，创造性的提出了一种全卷积神经网络(fullyconvolutional network，FCN)，其利用卷积层替换CNN中的全连接层进行逐像素分类，实现图像分割；Badrinarayanan等提出了对称的编码-解码网络SegNet，沿用了FCN进行图像语义分割的思想，采用编码器对输入图像提取特征，而后使用解码器恢复特征图分辨率，最后使用Softmax函数对特征图进行像素级分类；Ronneberger等随后提出了一种新的FCN网络即UNet,该网络具有对称的U型结构，在SegNet的基础上引入了编码器与解码器之间的级联，融合网络高低语义特征，可以实现较好的分割效果。目前，很多学者也在尝试将深度学习应用到遥感领域，探究其在遥感分类中的适用性。Fu等人利用FCN网络对高分辨率遥感影像中的道路、植被、建筑物、水体进行分类识别，正确分割精度大于85％；Huang等人利用Sentinel-2遥感影像，对SegNet进行改进，对河南省新蔡县的花生种植面积进行提取，测试精度达到83.3％；Chen等人对SegNet进行改进，用于遥感影像中建筑物的提取，在Inria数据集上进行测试，整体表现较好；Zhu等人利用GF-2和BJ-2遥感影像，对多时相遥感图像进行分块融合，用Deeplabv3+网络对甘蔗田进行提取，准确率达到94.32％；Du等人基于多时相Landsat数据，利用UNet网络对美国阿肯色州的水稻进行分类，模型表现较好；Zheng等人利用GF-2遥感影像，用UNet网络对五中类型地物进行分割，测试总体精度达到82.27％。但UNet不能解决多次降采样与上采样引起的边缘信息丢失问题。

因此，如何将深度学习技术与遥感技术相结合，实现小麦种植区域的影像提取已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中对遥感影像小麦区域提取在效率和准确性方面存在局限性的缺陷，提供一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法，包括以下步骤：

基础数据的获取：获取Landsat-8OLI遥感影像数据，并对其进行预处理，利用ArcGIS软件勾画小麦区域矢量，标注出Landsat-8OLI影像中的小麦区域原始影像数据尺寸为256×256×3，标签数据尺寸为256×256×1，获得预处理后的遥感影像数据；

小麦种植区域提取网络的构建：基于SE-UNet网络构建小麦种植区域提取网络；

小麦种植区域提取网络的训练：利用预处理后的遥感影像数据对小麦种植区域提取网络进行训练；

待提取遥感影像的获得：获取待提取遥感影像并进行预处理；

遥感影像小麦种植区域的提取：将预处理后的待提取遥感影像输入训练后的小麦种植区域提取网络，提取出遥感影像小麦种植区域。

所述小麦种植区域提取网络的构建包括以下步骤：

搭建UNet网络模型，UNet网络采用对称的编码器-解码器结构，以UNet网络作为基本框架来提取特征；

设定编码器通过3×3卷积、Relu激活函数和2×2池化来下采样提取特征信息，经过池化后将特征图通道数量不变，尺寸缩小为原来的一半，共进行4次下采样，下采样率为16倍，其中在Relu激活函数前的BN层用来抑制过拟合问题；

设定解码器通过转置卷积来进行4次上采样将特征图恢复到原图分辨率，同时在每一个水平阶段使用跳跃链接的方式将高级语义特征与浅层特征相融合，最后通过Softmax作为分类层，将图片像素分割为两类，一类为背景，另一类是提取的小麦区域；

在每个双层卷积模块后加入SE模块，SE模块用于分析特征图中通道之间的关系并为每个通道提供对应的权重，其通过模型学习自动获取每个特征通道的重要性；

设定SE模块。

所述小麦种植区域提取网络的训练包括以下步骤：

将预处理后的遥感影像数据输入小麦种植区域提取网络，训练中，选择Adamoptimizer函数作为参数优化器，使用交叉熵函数作为损失函数，初始学习率为0.0001、训练迭代次数为100、步长大小为8；

通过小麦种植区域提取网络中UNet编码器的卷积和池化进行特征提取，解码器使用上采样产生的特征图与左侧特征图进行融合，过程中每个双层卷积模块后通过SE模块来自动获取每个特征通道的重要性，来加强特征表达能力较强的通道；

再经过两次卷积操作，生成特征图；

利用一个1×1卷积进行通道调整，将最终特征层的通道数调整成类别数。

所述设定SE模块包括以下步骤：

设定SE模块包含压缩操作和激励操作，压缩操作对大小为W×H×C的特征图进行全局平均池化，压缩为1×1×C向量；激励操作使用一个全连接神经网络，对压缩操作之后的结果做一个非线性变换，最后使用激励操作得到的结果作为权重，乘到输入特征上；

设网络的输出的特征为U,U的尺寸为(H,W,C),其中，H、W、C分别为高、宽和通道数；

将第c维特征图u_c进行压缩操作，记为F_sq，输出z_c，将所有特征图经过压缩操作输出记为z，z的形状为1×1×C，计算公式表示如下：

其中，F_sq表示对特征进行压缩操作，u_c为输入特征图的第c维特征，W、H表示特征的宽和高，i和j是特征图在空间维的坐标；

将z进行激励操作，记为F_ex，结果为s，计算公式表示如下：

s＝F_ex(z,w)＝σ(w₂,δ(w₁,z))，

式中，w、w₁和w₂分别全连接层中的权重，σ和δ分别表示Sigmoid和Relu激活函数；

将经过通道权重相乘操作，记作F_scale，即将s加权到每个通道的特征上，输出为计算公式表示如下：

其中，F_scale(u_c,s_c)代表着标量s_c与特征u_c之间的对应通道乘积。

有益效果

本发明的一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法，与现有技术相比能够提高遥感影像小麦区域提取的精度和效率，可为大范围冬小麦种植面积统计提供依据。

本发明利用UNet编码器部分通过卷积和池化来下采样提取特征信息，解码器也相应通过转置卷积来进行4次上采样将特征图恢复到原图分辨率。同时，基于UNet的基础上，在每个双层卷积后加入SE模块，它通过模型学习自动获取每个特征通道的重要性，降低特征表达能力较弱，加强特征表达能力强的通道。

本发明提出的提取小麦种植区域算法优于对比分割模型，对部分边缘信息缺失问题有较明显改善，在不同分辨率的遥感数据集的测试下，都表现较好。

附图说明

图1为本发明的方法顺序图；

图2为GF-6为训练影像在Landsat-8OLI测试集上不同网络预测的结果；

图3为Sentinel-2为训练影像在Landsat-8OLI测试集上不同网络预测的结果；

图4为Landsat-8OLI为训练影像在Landsat-8OLI测试集上不同网络预测的结果。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法，包括以下步骤：

第一步，基础数据的获取。获取Landsat-8OLI遥感影像数据，并对其根据需要按传统方式进行预处理，利用ArcGIS软件勾画小麦区域矢量，标注出Landsat-8OLI影像中的小麦区域，原始影像数据尺寸为256×256×3，标签数据尺寸为256×256×1，获得预处理后的遥感影像数据。

利用ArcGIS软件打开遥感影像，在Landsat-8OLI影像上对照GF-6人工勾画小麦区域矢量，并以PNG格式输出生成标签，该栅格图为单通道8位PNG图片，其中小麦像素值为1，非小麦(背景)像素值为0，再将其裁剪为256×256大小的样本标签数据。同时将原始遥感影像保存为JPG格式输出，该影像为3通道8位JPG图像，再将其裁剪为256×256大小的原始影像数据，原始影像数据与标签数据文件名一一对应，同时进行了翻转、旋转、尺度变换等随机的数据扩充操作。

第二步，小麦种植区域提取网络的构建：基于SE-UNet网络构建小麦种植区域提取网络。

长期以来，小麦种植面积的估算都是通过层层上报或者抽样数据统计，既浪费大量的人力物力，且速度慢，结果还不够客观，缺乏有效的动态监测数据。遥感技术由于具有大面积同时观测、成本低、时空动态监测等优点，在农业监测中得到广泛应用，如何高效、智能地从遥感数据影像中获取有效的信息，是一直研究的热点。为了降低成本，提高分类精度，本发明在UNet网络上加以改进，引入SE模块，UNet网络采用对称的编码器-解码器结构，编码器部分通过卷积和池化来下采样提取特征信息，共进行4次下采样；其解码器也相应通过转置卷积来进行4次上采样将特征恢复到原图分辨率，多次下采样和上采样会引起边缘信息丢失问题。遥感影像相比于其他图像往往目标尺度大小不一、分布不均衡，为了更好地利用特征图中的有效信息，引入SE模块来抑制无用信息的利用，增加重要信息的权重，提高模块的预测性能，使小麦的提取结果更加准确。

其具体步骤如下：

(1)搭建UNet网络模型，UNet网络采用对称的编码器-解码器结构，以UNet网络作为基本框架来提取特征。

(2)设定编码器通过3×3卷积、Relu激活函数和2×2池化来下采样提取特征信息，经过池化后将特征图通道数量不变，尺寸缩小为原来的一半，共进行4次下采样，下采样率为16倍，其中在Relu激活函数前的BN层用来抑制过拟合问题。

(3)设定解码器通过转置卷积来进行4次上采样将特征图恢复到原图分辨率，同时在每一个水平阶段使用跳跃链接的方式将高级语义特征与浅层特征相融合，最后通过Softmax作为分类层，将图片像素分割为两类，一类为背景，另一类是提取的小麦区域。

(4)在每个双层卷积模块后加入SE模块(Squeeze-and-Excitation模块)，SE模块用于分析特征图中通道之间的关系并为每个通道提供对应的权重，其通过模型学习自动获取每个特征通道的重要性，降低特征表达能力较弱的通道，加强特征表达能力强的通道。

(5)设定SE模块。

A1)设定SE模块包含压缩操作和激励操作，压缩操作对大小为W×H×C的特征图进行全局平均池化，压缩为1×1×C向量；激励操作使用一个全连接神经网络，对压缩操作之后的结果做一个非线性变换，最后使用激励操作得到的结果作为权重，乘到输入特征上；

A2)设网络的输出的特征为U,U的尺寸为(H,W,C),其中，H、W、C分别为高、宽和通道数；

将第c维特征图u_c进行压缩操作，记为F_sq，输出z_c，将所有特征图经过压缩操作输出记为z，z的形状为1×1×C，计算公式表示如下：

其中，F_sq表示对特征进行压缩操作，u_c为输入特征图的第c维特征，W、H表示特征的宽和高，i和j是特征图在空间维的坐标；

A3)将z进行激励操作，记为F_ex，结果为s，计算公式表示如下：

s＝F_ex(z,w)＝σ(w₂,δ(w₁,z))，

式中，w、w₁和w₂分别全连接层中的权重，σ和δ分别表示Sigmoid和Relu激活函数；

A4)将经过通道权重相乘操作，记作F_scale，即将s加权到每个通道的特征上，输出为计算公式表示如下：

其中，F_scale(u_c,s_c)代表着标量s_c与特征u_c之间的对应通道乘积。

第三步，小麦种植区域提取网络的训练：利用预处理后的遥感影像数据对小麦种植区域提取网络进行训练。

(1)将预处理后的遥感影像数据输入小麦种植区域提取网络，训练中，选择Adamoptimizer函数作为参数优化器，使用交叉熵函数作为损失函数，初始学习率为0.0001、训练迭代次数为100、步长大小为8。

(2)通过小麦种植区域提取网络中UNet编码器的卷积和池化进行特征提取，解码器使用上采样产生的特征图与左侧特征图进行融合，过程中每个双层卷积模块后通过SE模块来自动获取每个特征通道的重要性，来加强特征表达能力较强的通道。

(3)再经过两次卷积操作，生成特征图。

(4)利用一个1×1卷积进行通道调整，将最终特征层的通道数调整成类别数。

第四步，待提取遥感影像的获得：获取待提取遥感影像并进行预处理。

在实际应用中，可以利用ENVI(Environment for Visualizing Images)软件分别对获取的Landsat-8OLI影像、Sentinel-2影像和GF-6影像进行预处理，预处理步骤包括：辐射定标、大气校正、图像镶嵌与裁剪和波段合成等，并对Landsat-8OLI影像进行影像融合处理。单一传感器获取的图像信息量有限，往往难以满足应用需要，通过影像融合可以从不同的遥感图像中获取更多有用的信息，补充单一传感器的不足。全色影像一般具有较高的空间分辨率，多光谱影像光谱信息较丰富，为提高多光谱影像的空间分辨率，可以将全色影像与多光谱影像进行融合，从而既提高多光谱影像的空间分辨率，又保留了其多光谱特性。本发明使用Gram-Schmidt Pan Sharpening方法对全色光谱和多光谱波段进行融合。Landsat-8OLI全色影像的空间分辨率为15m，只有一个光谱波段，多光谱影像具有丰富的光谱信息，但空间分辨率为30m，对两者进行融合，最终可以得到分辨率为15m的Landsat-8OLI多光谱影像。

第五步，遥感影像小麦种植区域的提取：将预处理后的待提取遥感影像输入训练后的小麦种植区域提取网络，提取出遥感影像小麦种植区域。

下面用不同分辨率的Sentinel-2和GF-6数据进行对比验证，下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明实验的计算机硬件环境为Intel Xeon Gold 6248R处理器，192Gb内存，NVIDIA Quadro P4000显卡，GPU加速库采用CUDA 10.0，深度学习框架使用Pytorch。后续所有的训练和测试实验都基于该平台。

2.仿真实验内容及结果分析：

为了对本发明的方法进行验证，选择了SegNet、Deeplabv3+、U-Net作为对比模型，其中3个对比模型与SE-UNet均使用同一训练数据和测试数据，使用平均像素精度(MPA)和平均交并比(MIoU)作为评价方法的指标。利用训练好的网络模型对测试集中的数据进行预测，实验都是以Landsat-8为测试集，以三种不同分辨率的训练集进行模型训练，分为三组来分析结果。原图和标签图都是Landsat-8影像，三组分别是以GF-6为训练影像在Landsat-8测试集上不同网络预测的结果，如图2所示；以Sentinel-2为训练影像在Landsat-8测试集上不同网络预测的结果，如图3所示；以Landsat-8为训练影像在Landsat-8测试集上不同网络预测的结果，如图4所示。由于Landsat-8OLI、Sentinel-2、GF-6三种数据的分辨率分别为15m、10m和8m，所以结果图中分辨率较高的小麦区域结果会比分辨率较低的区域大。在实验预测结果来看，SegNet分割结果明显存在一些少预测情况，有较多地方出现星星点点的预测部分，导致分割结果不太理想。Deeplabv3+的分割结果相对于其他方法明显较为圆滑，很多小麦区域被大面积的连在一起，不能很好地展现出小麦田地棱角形状，小麦区域的边缘信息缺失严重，Deeplabv3+在用于识别建筑物等较大对象时效果较好，用于识别冬小麦时，由于冬小麦种植区域的像素块内细节变化不大，可供利用的信息较少，导致Deeplabv3+的作用并没有充分发挥出来，不能很好的应用于小面积的田状、块状物的提取。U-Net整体效果表现较好，但依然有部分边缘信息缺失问题，加入SE模块后，整体结果有较明显的改善。

整体来看，本发明提出的方法在基于三个不同数据训练模型的测试效果都优于其他方法，MPA和MIoU均为最高，以Landsat8影像模型预测的MPA、MIoU分别达到88.97％和81.14％，以Sentinel-2影像模型预测的MPA、MIoU分别达到88.38％和76.15％，以GF-6影像模型预测的MPA、MIoU分别达到86.37％和75.03％。因分辨率不同的缘故，导致Sentinel-2和GF-6的预测小麦区域会偏大，以Landsat8 OLI标签来计算MPA和MIoU会有所偏差，但从预测图来看，整体小麦区域位置基本没有较大偏差，从而验证了预测结果的真实性。基于三种数据集的不同预测模型对应的评价指标如表1所示。

表1不同模型对应的评价指标对比表

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法，其特征在于，包括以下步骤：

11)基础数据的获取：获取Landsat-8OLI遥感影像数据，并对其进行预处理，利用ArcGIS软件勾画小麦区域矢量，标注出Landsat-8OLI影像中的小麦区域原始影像数据尺寸为256×256×3，标签数据尺寸为256×256×1，获得预处理后的遥感影像数据；

12)小麦种植区域提取网络的构建：基于SE-UNet网络构建小麦种植区域提取网络；

所述小麦种植区域提取网络的构建包括以下步骤：

121)搭建UNet网络模型，UNet网络采用对称的编码器-解码器结构，以UNet网络作为基本框架来提取特征；

122)设定编码器通过3×3卷积、Relu激活函数和2×2池化来下采样提取特征信息，经过池化后将特征图通道数量不变，尺寸缩小为原来的一半，共进行4次下采样，下采样率为16倍，其中在Relu激活函数前的BN层用来抑制过拟合问题；

123)设定解码器通过转置卷积来进行4次上采样将特征图恢复到原图分辨率，同时在每一个水平阶段使用跳跃链接的方式将高级语义特征与浅层特征相融合，最后通过Softmax作为分类层，将图片像素分割为两类，一类为背景，另一类是提取的小麦区域；

124)在每个双层卷积模块后加入SE模块，SE模块用于分析特征图中通道之间的关系并为每个通道提供对应的权重，其通过模型学习自动获取每个特征通道的重要性；

125)设定SE模块；

13)小麦种植区域提取网络的训练：利用预处理后的遥感影像数据对小麦种植区域提取网络进行训练；

14)待提取遥感影像的获得：获取待提取遥感影像并进行预处理；

15)遥感影像小麦种植区域的提取：将预处理后的待提取遥感影像输入训练后的小麦种植区域提取网络，提取出遥感影像小麦种植区域。

2.根据权利要求1所述的一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法，其特征在于，所述小麦种植区域提取网络的训练包括以下步骤：

21)将预处理后的遥感影像数据输入小麦种植区域提取网络，训练中，选择Adamoptimizer函数作为参数优化器，使用交叉熵函数作为损失函数，初始学习率为0.0001、训练迭代次数为100、步长大小为8；

22)通过小麦种植区域提取网络中UNet编码器的卷积和池化进行特征提取，解码器使用上采样产生的特征图与左侧特征图进行融合，过程中每个双层卷积模块后通过SE模块来自动获取每个特征通道的重要性，来加强特征表达能力较强的通道；

23)再经过两次卷积操作，生成特征图；

24)利用一个1×1卷积进行通道调整，将最终特征层的通道数调整成类别数。

3.根据权利要求1所述的一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法，其特征在于，所述设定SE模块包括以下步骤：

31)设定SE模块包含压缩操作和激励操作，压缩操作对大小为W×H×C的特征图进行全局平均池化，压缩为1×1×C向量；激励操作使用一个全连接神经网络，对压缩操作之后的结果做一个非线性变换，最后使用激励操作得到的结果作为权重，乘到输入特征上；

32)设网络的输出的特征为U,U的尺寸为(H,W,C),其中，H、W、C分别为高、宽和通道数；

将第c维特征图u_c进行压缩操作，记为F_sq，输出z_c，将所有特征图经过压缩操作输出记为z，z的形状为1×1×C，计算公式表示如下：

其中，F_sq表示对特征进行压缩操作，u_c为输入特征图的第c维特征，W、H表示特征的宽和高，i和j是特征图在空间维的坐标；

33)将z进行激励操作，记为F_ex，结果为s，计算公式表示如下：

s＝F_ex(z,w)＝σ(w₂,δ(w₁,z))，

式中，w、w₁和w₂分别全连接层中的权重，σ和δ分别表示Sigmoid和Relu激活函数；

34)将经过通道权重相乘操作，记作F_scale，即将s加权到每个通道的特征上，输出为计算公式表示如下：

其中，F_scale(u_c,s_c)代表着标量s_c与特征u_c之间的对应通道乘积。