[发明专利]一种基于神经网络图像识别的无人机系统及控制方法

说明书

本发明涉及一种基于神经网络图像识别的无人机系统及控制方法，包括：摄像模块、图像处理模块、飞行模块和处理器，所述摄像模块用于目标图片，所述图像处理模块基于所述拍摄模块拍摄的目标图片进行图像识别处理，所述图像识别模块是基于改进卷积神经网络CNN后得到掩码辅助R‑CNN训练协议，通过所述掩码辅助R‑CNN训练协议进行图片识别，所述处理器接收所述图像处理模块处理的图像，建立三维模型并进行分析，并获取飞行模块的飞行状态，以调整飞行模块的飞行模式。

技术领域

本发明属于神经网络技术领域，特别涉及一种基于神经网络图像识别的无人机系统及控制方法。

背景技术

现有技术中，通过卷积神经网络进行图片识别的技术方案已存在许多，然后，如何实现更好的图片识别和区分，一直是进行图像处理的难点，现有技术中，无人机拍摄已不断在民众中使用，如果提高无人机针对复杂环境的拍摄，通过拍摄进行图像分析，以在复杂环境中降落无人机，这是无人机控制的难点问题。

发明内容

本发明公开了一种基于神经网络图像识别的无人机系统，包括：摄像模块、图像处理模块、飞行模块和处理器，所述摄像模块用于目标图片，所述图像处理模块基于所述拍摄模块拍摄的目标图片进行图像识别处理，所述图像识别模块是基于改进卷积神经网络CNN后得到掩码辅助R-CNN训练协议，通过所述掩码辅助R-CNN训练协议进行图片识别，所述处理器接收所述图像处理模块处理的图像，建立三维模型并进行分析，并获取飞行模块的飞行状态，以调整飞行模块的飞行模式。

所述的基于神经网络图像识别的无人机系统，所述图像处理模块包括：图像接收单元、模型训练单元和识别结果输出单元，所述图像接收单元用于接收所述摄像模块拍摄的第一原始图像信息，将所述第一原始图像信息输送到所述模型训练单元，通过所述模型训练单元进行分割确定第一目标对象，将所述第一目标对象发送给所述处理器；所述图像接收单元用于接收所述摄像模块拍摄的第二原始图像信息，将所述第二原始图像信息输送到所述模型训练单元，通过所述模型训练单元进行分割确定第二目标对象，将所述第二目标对象发送给所述处理器；所述图像接收单元用于接收所述摄像模块拍摄的第三原始图像信息，将所述第三原始图像信息输送到所述模型训练单元，通过所述模型训练单元进行分割确定第三目标对象，将所述第三目标对象发送给所述处理器；所述处理器根据所述第一目标对象、第二目标对象和第三目标对象建立三维模型，所述第一原始图像信息、所述第二原始图像信息和所述第三原始图像信息为三个不同角度的图片。

所述的基于神经网络图像识别的无人机系统，所述模型训练单元通过训练获得掩码辅助R-CNN训练协议，所述掩码辅助R-CNN训练协议是在一级或二级目标检测器中添加掩码头实现目标分割，提高检测和分类的准确性，具体包括如下步骤：

步骤S1)、训练一个基本的掩码R-CNN模型用于分割任务；

步骤S2)、使用软像素级标签增强分割任务的训练集；

步骤S3)、对于检测和分割任务训练一个掩码辅助R-CNN模型，所述步骤S2)自身进行多次重复训练。

所述的基于神经网络图像识别的无人机系统，所述步骤S1)具体包括如下步骤：

步骤S11)、训练分割任务集；

步骤S12)、获得第一掩码R-CNN模型；

步骤S13)、获得第一检测任务训练集

步骤S14)、通过软像素获得第一标签训练样本。

所述步骤S2)具体包括如下步骤：

步骤S21)、获得第一分割任务的增强训练集；

步骤S22)、获得第二掩码R-CNN模型；

步骤S23)、获得第二检测任务训练集

步骤S24)、通过软像素获得第二标签训练样本；