[发明专利]鱼群摄食行为识别方法、装置、电子设备和存储介质

权利要求书

1.一种鱼群摄食行为识别方法，其特征在于，包括：

确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；

将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；

其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；

所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。

2.根据权利要求1所述的鱼群摄食行为识别方法，其特征在于，所述待识别鱼群摄食行为的时序图像是基于对鱼群摄食行为的视频数据按照固定帧进行间隔采样得到；所述单一图像对是基于所述时序图像中任意连续前后两帧时序图像构成的。

3.根据权利要求1所述的鱼群摄食行为识别方法，其特征在于，所述行为识别模型包括目标检测模型、行为特征提取模型和行为特征分类模型；

将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果，包括：

依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组；

依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量；

依次将所述单一图像对对应的鱼群行为特征向量对输入至所述行为特征分类模型对所述时序图像的单一图像对进行分类，依次输出所述时序图像的投喂前后时间段内的鱼群摄食行为状态结果；

其中，所述目标检测模型是基于所述第一样本时序图像及对应的标注标签对SSD神经网络模型训练得到的；

所述行为特征分类模型是基于所述第二样本时序图像及对应的状态标记对分类模型训练得到的。

4.根据权利要求3所述的鱼群摄食行为识别方法，其特征在于，所述目标检测模型包括鱼体位置信息模型和鱼体位置变化模型；

依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组，包括：

单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息；

单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型，输出所述时序图像中单一图像对的鱼体位置变化向量组。

5.根据权利要求3所述的鱼群摄食行为识别方法，其特征在于，所述行为特征提取模型包括向量组模长模型、向量组余弦距离模型和特征向量模型；

依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量，包括：

单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组模长模型，输出向量组的平均模长m；

单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组余弦距离模型，输出向量组的对时间轴的平均余弦距离c；

单次将所述向量组的平均模长m及所述向量组的对时间轴的平均余弦距离c同时输入至所述特征向量模型，输出鱼群行为特征向量

6.根据权利要求4所述的鱼群摄食行为识别方法，其特征在于，所述单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息，具体包括：

检测到所述时序图像中单一图像对的鱼体边界框及所述鱼体边界框的中心点坐标，并基于欧式距离最小化找到所述单一图像对对应的前后两帧时序图像中每个鱼体相对应的两个中心点坐标；

所述单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型，输出所述时序图像中单一图像对的鱼体位置变化向量组，具体包括：

基于所述每个鱼体相对应的两个中心点坐标得到每个鱼体位置变化向量并基于所述每个鱼体位置变化向量得到所述时序图像中单一图像对的鱼体位置变化向量组S。