[发明专利]一种基于深度学习及图像技术的昆虫动态行为识别方法

权利要求书

1.一种基于深度学习及图像技术的昆虫动态行为识别方法，其特征在于：包括如下步骤：

1）、获取数据源视频

a、通过录像设备使用高清摄像头，拍摄视频分辨1920*1080、帧率为25帧每秒的透明培养皿中自由活动的昆虫背面和正面区域场景视频；

2）、处理图像

b、将拍摄的昆虫行为视频筛选整理，按时序逐帧读取，使用图像处理技术对帧图片阈值分割，阈值分割时根据拍摄背景的颜色直方图确定区间阈值，最低阈值low在[60,50,20]至[100,70,60] 范围内确定，最高阈值high在[200,200,200]至[255,255,255]范围内确定，将最低阈值low和最高阈值high之间的颜色值变为255，将最低阈值low和最高阈值high之间的颜色值变为0，从而无噪点地提取图像中的昆虫背景，提取出的部分转换为一个含有昆虫背景信息的灰度图像，将获得的灰度图像矩阵取反，获得该帧中只含有昆虫身体像素信息的图像；

c、将拍摄的昆虫行为视频筛选整理，按时序逐帧读取，对图像进行灰度化处理，生成带有时间信息的灰度图像；

3）、建立识别模型

d、对步骤c中获得的图像通过帧间差分强度局部最大值关键帧提取算法，提取关键点识别训练帧，每分钟视频提取出1-2帧，提取训练帧后，在训练帧中标记头部和尾部的关键点，训练帧中的数据使用尺度抖动与随机旋转进行增强，尺度抖动的范围为0.5-1.5，随机旋转的范围为±25，增强后，向数据中添加随机运动模糊与弹性形变；

e、将步骤d处理获得的训练帧输入关键点识别算法DeepLabCut在ImageNet数据集上预训练过的ResNet50训练网络中，通过训练帧对关键点识别算法DeepLabCut进行训练获得一个昆虫头部与尾部关键点识别模型；

f、使用步骤e获得的识别模型识别昆虫动态行为视频，得到每一帧中昆虫头、尾的坐标与预测概率，对于预测概率小于60%的关键点，将其坐标设置为最近一次概率高于60%的坐标值，对坐标和识别模型进行修正；

4）、提取时间空间特征

g、利用训练后的识别模型识别的每一帧的头、尾坐标，以头、尾坐标为中心将视频帧中的昆虫信息图像分别裁剪出2块ROI；

h、时间窗口设定范围t为5-15帧，重复步骤ft次，将每一块ROI重构、堆叠得到ROI特征提取窗口矩阵T，将矩阵T变换为矩阵F，通过矩阵F获得质心矩阵M；

i、以矩阵M为红色通道保存，以矩阵T中的第二行帧信息为蓝色通道保存,以S-ROI为绿色通道，生成昆虫时空信息特征图像；

5）、深度学习

j、根据步骤i中生成的时空特征图像特点，将时空特征图像中的昆虫行为分类存放并进行标签标注；

k、利用步骤j分类并标注的时空特征图像对神经网络模型VGG16进行训练，对其网络参数进行修改；

6）、识别分类昆虫动态行为

l、通过步骤k中训练后的神经网络模型VGG16对需要检测的视频数据进行预测，生成ROI区域图像统计结果表；

提取完成时空特征图像进入训练后的神经网络模型VGG16中，神经网络模型VGG16对时空特征图像中的昆虫行为进行识别，分别得出头部区域和尾部区域ROI的预测结果；对两个预测结果加以判断得出最终的行为预测结果，判断方法如下：首先判断该帧是否有行为发生，若头部区域和尾部区域ROI检测结果均无行为，则此帧最终判断为无行为；若其中一个的检测结果为有行为，则有行为的那个ROI的检测结果为此帧最终判断结果；若两个ROI检测结果存在不同种行为，则此帧最终判断结果为其中概率最大ROI的检测结果。

2.根据权利要求1所述的一种基于深度学习及图像技术的昆虫动态行为识别方法，其特征在于：所述的最低阈值low=[80,60,40]，最高阈值high=[255,255,255]。

3.根据权利要求1所述的一种基于深度学习及图像技术的昆虫动态行为识别方法，其特征在于：所述的阈值分割公式为：

式中，为图像中的颜色值；

将获得的数值填充至矩阵：

将矩阵取反获得的该帧中只含有昆虫身体像素信息的图像矩阵：

。