[发明专利]一种基于神经网络的标注方法、装置及电子设备

权利要求书

1.一种基于神经网络的标注方法，其特征在于，包括：

获取司机操作列车的视频图像，所述视频图像中包含待标注的司机动作；

通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点；

其中，所述动作检测神经网络包括用于提取所述视频图像的视频时序特征的时序特征提取网络、用于初步给出视频中人物动作的开始和结束节点的动作边界预测网络，以及用于判断所述动作边界预测网络输出结果是否正确并将最终标注结果输出的动作辨识网络。

2.根据权利要求1所述的标注方法，其特征在于，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点之前，包括：

识别所述视频图像中的司机位置以及骨骼特征点，并判断所述骨骼特征点是否被遮挡；

如果判断出所述骨骼特征点被遮挡，则通过正反卷积动作检测神经网络去除遮挡物并将因去除遮挡物造成关键信息缺失的画面进行补全。

3.根据权利要求1所述的标注方法，其特征在于，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点，包括：

将视频图像按照预设间隔帧数设置多个截取点，并从每个截取点截取预设帧数作为帧合集；

将每个帧合集输入至所述时序特征提取网络，以获得每个帧合集的视频时序特征；

其中，所述时序特征提取网络的结构为：

第一卷积层(Conv1)、第一池化层(Pool1)、第二卷积层(Conv2)、第二池化层(Pool2)、第三卷积层(Conv3a)、第四卷积层(Conv3b)、第三池化层(Pool3)、第五卷积层(Conv4a)、第六卷积层(Conv4b)、第四池化层(Pool4)、第七卷积层(Conv5a)、第八卷积层(Conv5b)、第五池化层(Pool5)、全连接层(fc6)以及长短期记忆层(lstm)。

4.根据权利要求3所述的标注方法，其特征在于，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点，还包括：

将每个帧合集的视频时序特征依次输入至所述动作边界预测网络；

所述动作边界预测网络针对每个帧合集的视频时序特征给出三个值，表示视频时序特征对应的帧合集是视频中人物动作开始的概率、动作结束的概率、既不是动作开始也不是动作结束的概率；

其中，所述动作边界预测网络的结构为：

第一卷积层(Conv1)、第一池化层(Pool1)、第二卷积层(Conv2)、第二池化层(Pool2)、第三卷积层(Conv3)、第三池化层(Pool3)、第四卷积层(Conv4)、第四池化层(Pool4)、第五卷积层(Conv5)以及输出层(Softmax)。

5.根据权利要求4所述的标注方法，其特征在于，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点，进一步包括：

将所述动作边界预测网络输出的所有开始和结束的视频片段，依次输入至所述动作辨识网络；

所述动作辨识网络给出所述视频片段是否包含动作片段的评估结果；

其中，所述动作辨识网络的结构为：

第一卷积层(Conv1)、第一池化层(Pool1)、第二卷积层(Conv2)、第二池化层(Pool2)、第三卷积层(Conv3)、第三池化层(Pool3)、第一全连接层(fc4)、第二全连接层(fc5)以及输出层(Softmax)。

6.根据权利要求1所述的标注方法，其特征在于，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点，还包括：

对所述时序特征提取网络和所述动作边界预测网络进行训练；

对所述动作辨识网络进行训练。