[发明专利]一种基于机器视觉的海参行为监测方法、设备及存储介质

权利要求书

1.一种基于机器视觉的海参行为监测方法，其特征在于，包括以下步骤：

步骤1，在YOLOv5模型的基础上搭建ST-YOLOv5的海参检测模型，引入CA注意力模块获取图像中海参的位置，并将模块嵌入至YOLOv5主干网络中以进一步增强模型对目标特征的表示能力，同时将路径聚合网络PANet替换为加权双向特征金字塔结构BiFPN；

步骤2，获取现场环境中拍摄的海参图像数据集并划分为训练集和测试集，对训练集中的图像数据进行预处理，同时对步骤1中搭建的ST-YOLOv5的海参检测模型进行训练；

步骤3，使用训练完成的ST-YOLOv5的海参检测模型对海参进行监测，获取实时的图像数据及每头海参的坐标位置信息；

步骤4，使用海参多目标定位方法，通过后一帧获取的若干头海参的坐标分别与前一帧获取的若干头海参的坐标分别作差，差值最小的则被认为是同一头海参连续两帧下的坐标，以此类推得到每头海参连续的坐标集合；

步骤5，绘制每头海参某个固定时间段内的行为轨迹曲线，并对海参的行为进行分析。

2.如权利要求1所述的一种基于机器视觉的海参行为监测方法，其特征在于，所述引入的CA注意力模块的具体为：沿着一个空间方向保留精确的位置信息，同时沿着另一个空间方向捕获远程依赖关系，最终生成的特征图可以分别编码为具有位置敏感和方向感知的注意力图，从而实现互补地输入至特征图，以增强对需注意海参目标的表示能力；

为了获取图像数据中高度和宽度上的注意力并编码相应的位置信息，将对输入的特征图分别进行高度和宽度两个方向的全局平均池化，以获得高度和宽度两个方向的特征图，如下式所示：

式中，x_c(h,i)为特征图中(h,i)位置的特征值，x_c(j,w)为特征图中(j,w)位置的特征值，W和H分别是特征图的宽和高，为高度为h的第c通道的输出，为宽度为w的第c通道的输出；对于给定的输入x进行一维要素编码操作，通过池化核的空间范围(H，1)或或(1，W)分别为对水平坐标和垂直坐标的各个通道进行相应的编码，从而得到以上的两个公式；

紧接着，将全局感受野沿着高度和宽度两个方向的特征图进行拼接，再将其送入至共享卷积核中，并进行变换操作：

f＝δ(F₁([z^h,z^w]))

式中，[x,y]是沿空间维数的拼接操作，f是对空间信息在水平和垂直两个方向上进行编码的特征映射，δ表示非线性激活函数，F₁是经过归一化处理的特征图，Z^h为高度为h的输出，Z^w为宽度为w的输出；通过另外的两个1×1卷积变换F_h和F_w分别将f^h和f^w变换成具有同一通道数的张量以输入至x，从而得到：

g^h＝σ(F_h(f^h))

g^w＝σ(F_w(f^w))

式中，σ为Sigmoid激活函数，f^h是空间信息在垂直方向上进行编码的特征映射，f^w是空间信息在水平方向上进行编码的特征映射，g^h是在高度方向上的注意力权重，g^w是在宽度方向上的注意力权重；

最终通过在原始特征图上的乘法加权计算得到在高度和宽度方向上带有注意力权重的特征图。

3.如权利要求1所述的一种基于机器视觉的海参行为监测方法，其特征在于：所述将特征聚合结构PANet替换为BiFPN，具体为：首先，将PANet中只有一条输入边且对特征网络贡献较小的节点删除，以通过删除对网络影响不大的节点来简化网络；其次，如果原始的输入节点与输出节点同属于同一层，那么将原始的输入节点与输出节点之间添加一条额外的通路，以在不增加过多的成本的前提下实现更多特征融合；最后，鉴于PANet只有一个自顶向下和一个自底向上路径的处理通道，BiFPN将把处理每个双向路径即自顶向下和自底向上的路径作为特征网络层，并重复同一层的特征，以实现更高层次的特征融合的目的。