[发明专利]一种农业场景下的航拍图像实时语义分割方法

说明书

本发明公开了一种农业场景下的航拍图像的实时语义分割方法。通过无人机搭载的摄像机进行原始农田图像数据的采集，然后传输给服务端，由服务端进行一个原始图像数据的处理，最终生成网络训练所需的数据集。构建了相应的语义分割网络模型，模型由轻量级模块构成，能够在满足实时性的同时保持较好的分割效果，同时运用权重交叉熵损失函数进行网络的训练。此外，还利用了农业场景图像中丰富的纹理信息来提高语义分割的效果。在训练完成后，将网络模型移植到无人机上，再由无人机在实际场景中拍摄图像，将图像裁剪后传入到无人机上的语义分割网络模型中生成分割结果，再将结果传输到服务端，由用户进行分析决策。

技术领域

本发明涉及农业场景下的图像识别领域，具体涉及一种农业场景下的航拍图像实时语义分割，对特定的区域进行标记。

背景技术

传统农业场景下的信息采集与分析需要耗费大量的人力成本且效率不高，而当前基于深度学习的图像识别技术不断发展，且在各个领域的应用越来越广泛，人们也开始将图像识别技术运用到农业场景中。

语义分割是给图像中的每一个像素点分配一个类别，这些类别是预先定义好的有实际意义的类别，当前语义分割正广泛应用在无人驾驶与医学图像分析中。实现农业场景下图像的语义分割具有重大的意义，具体来说，对农田状况进行监控与分析，农户在获得分析结果后采取相应对策，最终来提高整个生长季节的潜在收益或者减少一些损失。而农业场景下的图像数据采集效率低，且存在类别不平衡的问题，而数据集的类别不平衡会影响图像语义分割方法的效果。此外，农场航拍图像中许多重复的不规则结构含有丰富的纹理信息，学习这些信息能够提高分割的效果。

随着无人机技术在农业领域的应用越来越广泛，可以利用无人机来进行农田图像的采集与分析，但是无人机可搭载的硬件性能有限，而图像分割方法在实际应用中需要达到一个实时的效果，因此分割方法需要能够快速的分析农田图像且占用较小的内存。

发明内容

本发明针对上述所提到的技术问题，提出了一种农业场景下的航拍图像实时语义分割方法，用无人机采集农田图像数据并传输给服务端，服务端进行图像数据处理得到训练集和测试集，基于深度学习的思想搭建一个轻量级语义分割网络模型，再将该模型移植到无人机，使得无人机能够进行图像采集与分割，并且满足实时性的同时具备较好的分割效果，最终来提高农业的经济效益。

本发明的技术方案为一种农业场景下的航拍图像实时语义分割方法，具体包含以下步骤：

步骤1，采集原始的农业场景图像数据；

步骤2，对原始的农业场景图像数据进行预处理，并生成对应的标签图像，然后划分训练集和验证集；

步骤3，构建实时语义分割网络模型，所述语义分割网络模型包括主干特征提取网络，空洞空间金字塔池化模块，纹理特征提取模块和上采样模块；

其中，主干特征提取网络用于生成浅层特征图和深层特征图，将得到深层特征图传入到空洞空间金字塔池化模块，空洞空间金字塔池化模块用于多尺度特征提取，然后将提取到的多尺度特征图进行连接，从而提高不同尺度区域的分割精度；

纹理特征提取模块传入的是主干特征提取网络中的浅层特征图，用于多尺度纹理特征的提取；

对空洞空间金字塔池化模块输出的多尺度特征图和纹理特征提取模块输出的纹理特征图进行连接，输入到上采样模块中上采样操作，使其恢复到原始图像的大小，最后运用softmax函数计算每个像素点不同类别的概率，然后生成分割图像；

步骤4，对搭建好的语义分割网络模型进行训练；

步骤5，将裁剪后的测试图像数据输入到训练好的语义分割网络模型，生成语义分割结果。

进一步的，步骤2中的具体实现包括如下子步骤；