[发明专利]一种基于深度学习的不同网络模型级联目标精确推理系统及方法

权利要求书

1.一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：其包括图像采集模块、图像预处理模块、目标检测网络模型模块、ROI图像提取模块、目标分割网络模型模块、结果分析模块和通讯模块；

图像采集模块用于实时采集当前场景的图像，

图像预处理模块用于对实时采集的图像进行图像预处理消除噪声信号，

目标检测网络模型模块用于对图像预处理后的图像进行目标检测，得到目标的位置和类别，目标检测网络模型模块由FasterRCNN、SSD、YOLO三个目标检测网络模型组成，图像预处理后的图像由目标检测网络模型模块中的三个目标检测网络模型之一进行目标检测；目标的位置信息用ROI矩形框四个点坐标来表示，类别用序号0，1，2，…来表示；

ROI图像提取模块用于将目标检测网络模型模块得到的ROI矩形框内的图像拷贝到图像缓存序列，

目标分割网络模型模块用于对ROI图像提取模块得到的图像缓存序列的每个ROI图像进行目标分割，得到目标的精确面积，周长，宽度和高度信息，目标分割网络模型模块由MaskRCNN、Unet和DeepLab三个目标分割网络模型组成，目标分割网络模型模块用于对图像缓存序列的每个图像进行三个网络模型之一进行目标分割；

结果分析模块用于对目标检测网络模块得到的坐标位置、类别和目标分割网络模型得到的目标精确面积，周长，宽度和高度进行结果合并并保存到结果序列，

通讯模块用于将结果分析模块合并的结果序列发送给外部接收设备。

2.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：图像采集模块包括图像文件读取、视频文件读取和相机拍摄图像读取。

3.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：图像预处理模块由高斯模糊、均值滤波、中值滤波和双边滤波组成。

4.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：ROI图像提取模块用于在当前场景图像根据目标检测网络模型模块检测到的目标坐标位置的图像拷贝出来并存储在图像缓存序列。

5.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：结果分析模块用于对目标检测网络模块得到的坐标位置、类别信息和目标分割网络模型得到的目标精确面积、周长、宽度和高度进行结果合并并存储到结果序列中。

6.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：通讯模块包括以太网芯片、3G/4G芯片、蓝牙芯片，外部接收设备包括服务器、PLC，通讯模块用于将合并的结果序列发送到外部接收设备。

7.一种基于深度学习的不同网络模型级联目标精确推理方法，采用了权利要求1至6任一所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：方法包括以下步骤：

步骤1：调整图像采集模块位置使之对准拍摄物体；

步骤2：采集获取目标物体的一次图像；

步骤3：对一次图像进行图像中值滤波处理得到消除噪声后的图像；

步骤4：消除噪声后的图像使用SSD目标检测网络模型进行推理得到图像中目标物体的矩形框位置和类别；

步骤5：根据目标物体的矩形框位置拷贝出不同位置的图像并存储在缓存中；

步骤6：对缓存中的ROI图像依次使用Mask RCNN目标分割网络模型进行目标分割得到目标的面积、周长、长度和宽度；

步骤7： 对步骤6和步骤4的结果信息合并得到目标的面积、周长、长度、宽度、类别和位置，保存到结果序列中；

步骤8：将轮廓中心点和轮廓面积信息发送到外部接收设备。