[发明专利]一种基于神经网络的标注方法、装置及电子设备

说明书

本发明提供一种基于神经网络的标注方法、装置及电子设备，包括：获取司机操作列车的视频图像，所述视频图像中包含待标注的司机动作；通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点；其中，所述动作检测神经网络包括用于提取所述视频图像的视频时序特征的时序特征提取网络、用于初步给出视频中人物动作的开始和结束节点的动作边界预测网络，以及用于判断所述动作边界预测网络输出结果是否正确并将最终标注结果输出的动作辨识网络。本发明通过动作检测神经网络能够标注预测司机操作列车的动作开始和结束节点，从而可以减少人工观看的视频量，提升标注效率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于神经网络的标注方法、装置及电子设备。

背景技术

实时监控轨道交通司机的操作行为是提升列车运行安全的有效手段，基于深度学习的行为识别司机监控视频方面初步具备良好的应用前景。通过监督学习的形式可以明确监控算法的学习目标，从而快速提升对司机操作行为辨识的准确率。

然而监督学习需要提供人为标注样本的属性，所以通过人工的方式对司机操作列车视频进行标注的过程，费时费力，因此需要一个优化的标注方法，提升标注效率，成为亟待解决的问题。

发明内容

本发明提供一种基于神经网络的标注方法、装置及电子设备，用以解决现有技术中通过人工标注比较费时费力的缺陷，通过动作检测神经网络能够自动标注司机动作的节点。

本发明提供一种基于神经网络的标注方法，包括：

获取司机操作列车的视频图像，所述视频图像中包含待标注的司机动作；

通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点；

其中，所述动作检测神经网络包括用于提取所述视频图像的视频时序特征的时序特征提取网络、用于初步给出视频中人物动作的开始和结束节点的动作边界预测网络，以及用于判断所述动作边界预测网络输出结果是否正确并将最终标注结果输出的动作辨识网络。

根据本发明提供一种基于神经网络的标注方法，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点之前，包括：

识别所述视频图像中的司机位置以及骨骼特征点，并判断所述骨骼特征点是否被遮挡；

如果判断出所述骨骼特征点被遮挡，则通过正反卷积动作检测神经网络去除遮挡物并将因去除遮挡物造成关键信息缺失的画面进行补全。

根据本发明提供一种基于神经网络的标注方法，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点，包括：

将视频图像按照预设间隔帧数设置多个截取点，并从每个截取点截取预设帧数作为帧合集；

将每个帧合集输入至所述时序特征提取网络，以获得每个帧合集的视频时序特征；

其中，所述时序特征提取网络的结构为：

第一卷积层(Conv1)、第一池化层(Pool1)、第二卷积层(Conv2)、第二池化层(Pool2)、第三卷积层(Conv3a)、第四卷积层(Conv3b)、第三池化层(Pool3)、第五卷积层(Conv4a)、第六卷积层(Conv4b)、第四池化层(Pool4)、第七卷积层(Conv5a)、第八卷积层(Conv5b)、第五池化层(Pool5)、全连接层(fc6)以及长短期记忆层(lstm)。

根据本发明提供一种基于神经网络的标注方法，所述通过动作检测神经网络实现对所述司机动作的提取，并标注所述司机动作的开始节点和结束节点，还包括：

将每个帧合集的视频时序特征依次输入至所述动作边界预测网络；