[发明专利]一种基于枪球联动的海漂垃圾图像识别算法

说明书

本发明公开了一种基于枪球联动的海漂垃圾图像识别算法，包括以下步骤：步骤一，提取；步骤二，定位；步骤三，映射；步骤四，截取；步骤五，计算；步骤六，结束；其中在上述步骤一中，提取枪机视频图像帧frame_gun，将枪机画面等分为5*8共40个区域，标记各个区域中心点，用云台控制球机旋转，使球机画面中心点和枪机标定区域的中心点重合，该发明，通过视频图像处理分析，有利于及时检测并抓拍海漂垃圾，同时该算法能够在复杂场景下将塑料垃圾、白色泡沫、废弃木材树枝等漂浮物作为捕捉抓拍侦测物，通过图像识别模型分析计算出海漂垃圾种类及污染程度，并推送预警，替代了传统的人工观测，从而提高相关人员工作效率，减少人工操作。

技术领域

本发明涉及图像识别技术领域，具体为一种基于枪球联动的海漂垃圾图像识别算法。

背景技术

随着计算机视觉与信息技术的发展以及视频、图像等多媒体数据的大量增长。人们可以通过挖掘视频、图像中的信息，进一步为决策做出依据。海漂垃圾的频繁增多使得海洋生态保护问题变得越来越紧迫，并且海漂垃圾识别与及时处理是海洋生态监测站的主要工作之一，但现有的海漂垃圾识别方法如基于传统图像识别方法与基于深度学习的目标检测算法在实际应用中具有一定的局限性，频繁出现海漂垃圾漏检率高、检测不及时、识别距离有限导致的可推广性差等问题。

海漂垃圾及时发现与处理是海洋生态环保部门工作的重点任务，随着海洋中垃圾的不断减少，海洋植物被抑制的光合作用也能够恢复正常，使水体中含氧量升高，提高海洋生命活力，恢复海洋生态系统的平衡稳态。海豚、海龟不再担心误食塑料袋，灵活矫健的海狮也不再害怕转身时会被塑料包装带缠绕，海洋生态效益得以有效保护。现有技术对海洋垃圾识别算法有两种，其中一种基于传统图像颜色处理技术的海漂垃圾识别方法，通过提取图像颜色直方图并进行阈值分割，并算出漂浮物的比例以判断污染的严重程度，但该方法受限于漂浮物的种类多样性以及环境的变化，当漂浮物颜色多样时，容易将与水体颜色相近的垃圾误识别成正常水体，更多的是当光照不同时，水体颜色的变化也很大，导致识别错误，另一种基于目标检测的海漂垃圾识别方法，该算法采用机器学习算法，通过标注漂浮物目标框与进行模型训练，实现了漂浮物的检测识别，并计算出漂浮物种类与数量，但不能很好的适应场景多变的复杂场景，由于海漂垃圾的特殊性，均为大视野远距离下漂浮物，传统的目标检测算法对小目标或超小目标漂浮物易造成漏检，且没有相对稳定的结构化特征以及漂浮物种类的不确定性，算法的准确度普遍较低。

发明内容

本发明的目的在于提供一种基于枪球联动的海漂垃圾图像识别算法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于枪球联动的海漂垃圾图像识别算法，包括以下步骤：步骤一，提取；步骤二，定位；步骤三，映射；步骤四，截取；步骤五，计算；步骤六，结束；

其中在上述步骤一中，提取枪机视频图像帧frame_gun，将枪机画面等分为5*8共40个区域，标记各个区域中心点，用云台控制球机旋转，使球机画面中心点和枪机标定区域的中心点重合，建立枪球机像平面之间的映射关系，生成标定文件label；

其中在上述步骤二中，获取枪机视频流，使用光流法对视频中运动目标进行跟踪定位，计算像素面积最大目标检测框的中心坐标为p_max(x_center,y_center)；

其中在上述步骤三中，根据步骤二得到的最大目标中心坐标p_max(x_center,y_center)与步骤一枪球标定label计算出中心坐标p_max映射到球机坐标ptz，其中球机ptz坐标可表示为p_ptz(p,t,z)；

其中在上述步骤四中，将步骤三得到的ptz坐标p_ptz(p,t,z)通过云台控制球机转动到目标画面，截取球机视频帧为frame_ball，使用已训练的海漂垃圾分割模型对frame_ball进行前向计算，返回海漂垃圾区域边界点集set及海漂区域所占像素大小cnt；