[发明专利]一种基于LSTM的工程勘察标贯击数统计方法

权利要求书

1.一种基于LSTM的工程勘察标贯击数统计方法，其特征在于，包括以下步骤：

S1，导入待检测的工勘标贯视频，对固定帧视频图像进行重构，生成标贯运动图片序列；

S2，将生成的标贯运动图片序列逐帧导入预训练的标贯锤图像识别模型，提取标贯锤坐标数据信息，根据时序信息排列标贯锤坐标并依据图片尺寸进行归一化处理，得到标贯锤运动坐标时序合集；

S3，将步骤S2获得的标贯锤运动坐标时序导入训练好的LSTM运动状态分类卷积神经网络，提取运动特征向量，利用全连接层获得运动状态评估值；

S4，将运动状态评估值导入分类器，获得标贯锤的上升或下降运动分类；若判定为下降运动，则将该段标贯击数值加1；若判定为上升运动，则不计数；

S5，导入下一个M帧视频图像序列，并返回步骤S2，评估每一个M帧的运动状态并分类；直到读取完该段标贯视频，最终获得该段标贯视频的标贯总击数。

2.根据权利要求1所述基于LSTM的工程勘察标贯击数统计方法，其特征在于，步骤S1中，对固定帧视频图像进行重构，生成标贯运动图片序列的详细步骤如下：

S11，以一段视频中每一帧为初始原点O，提取后M-1帧图像；其中，M为该视频帧率下，标贯锤单次下降所需要的总帧数；

S12，若视频从第N帧开始，之后视频图像帧总数不足M-1，则计算帧数差N_d＝S-N，其中S为该段视频总帧数；

S13，根据帧数差，进行判断：

若时，丢弃该帧；

若时，保留该帧，并取该帧与之后的所有帧的平均数进行插空填充。

3.根据权利要求1所述基于LSTM的工程勘察标贯击数统计方法，其特征在于，步骤S2中，根据标贯锤中心点提取标贯锤坐标信息，并依据运动时序导出针对图片大小归一化处理后的坐标信息，具体的实现过程如下：

S21，对标贯锤运动图片时序中M帧内每一张视频图像，运用YOLO算法检测标贯锤的存在区域，若检测出存在标贯锤，则输出对应区域中心坐标(x_i,y_i)，其中以视频图像左上方为坐标轴原点；若未检测出标贯锤存在区域，则输出(0,0)；并将视频图像进行随机尺寸网格划分；

S22，每个网格会预测B个边界框及边界框的置信度，每个边界框的预测值包含5个元素(x，y，w，h，c)，其中，x、y分别表征边界框的坐标，w、h分别表征边界框的宽和长，c为该边界框的置信度；同时每个网格还给出k个类别概率值，因此每个网格预测(B×5+k)个值，每张图像最终生成S×S×(B×5+k)维大小的张量；

S23，将步骤S22得到的张量导入非极大值抑制算法中，从所有检测框中找到置信度c最大的框，然后逐个计算其与剩余框的重叠度：如果其值大于一定阈值，则将该框剔除，直至处理完所有检测框，得到该类目标的物体中心；

S24，对M帧序列的第i帧标贯锤坐标(x_i,y_i)，依据原视频图像大小，进行归一化处理，表达式如下：

最后依据图片运动时序，获得M帧视频标贯锤的坐标运动时序集合M_sequenc：

其中，X、Y分别为原视频图像的宽和高。

4.根据权利要求1所述基于LSTM的工程勘察标贯击数统计方法，其特征在于：步骤S3中，将获得的任一M帧视频标贯锤的坐标运动时序集合依序列导入时序特征提取器以获得运动特征向量，其中，时序特征提取器采用两层及以上LSTM层；具体实现步骤如下：

S31，将任一段M帧视频标贯锤的坐标运动时序集合M_sequence转换为M×2维的特征张量，该特征张量为M帧标贯锤所有的相对图片原点的空间坐标集合；

S32，将特征向量导入LSTM模型，并在LSTM模型中设置遮掩值，当序列集合数据出现(0，0)，则不激活神经元进行计算；

S33，将输出时序导入一层全连接层，获得输出时序分类矩阵；

S34，将时序分类矩阵导入Softmax激活函数层，计算该段标贯锤运动时序状态分类概率矩阵P，表达式如下：

P＝[α,β]

其中，

当α＞β，则判定为下降运动；

当α≤β，则判定为上升运动。