[发明专利]一种面向舰船名标识字符的视频自动标注方法及系统

说明书

本发明提供了一种面向舰船名标识字符的视频自动标注方法及系统，其中所述方法包括输入长视频序列，确定长视频序列中的关键帧。将由所述的关键帧分割的视频段输入至关键帧间视频段字符区域提取网络，得到各字符区域位置。将各字符区域输入字符识别网络，得到所述的目标船名标识字符的识别结果。将字符识别结果回传至客户端进行可视化修正，并将结果作用于数据库中标注信息的更新。由此，提升了数据标注的速率与准确率，且实现了PC端的应用与部署。

技术领域

本发明涉及目标检测与计算机视觉技术领域，具体涉及一种面向舰船名标识字符的视频自动标注方法及系统。

背景技术

船舶是水路航运最重要的载体，如何有效进行船舶身份的准确识别是岸对船进行安全监控的有力保证，而鉴别船舶身份的最直接且有效的方式就是通过船名标识字符。随着深度学习的发展，给计算机视觉和机器学习带来了重大变革，很大程度上提高了识别的精度与可靠性。值得注意的是，有效数据的数量是监督学习得到可靠结果的前提，但标注数据是一个极其耗费体力、财力的事情，而对于复杂场景更是需要大量的标签数据进行学习。船名标识字符有着字符复杂、位置多变、背景多变等特性，促使大量的数据标注成为研究船舶身份问题的一个难点。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种面向舰船名标识字符的视频自动标注方法及系统，基于深度学习策略对视频序列中的船名标识字符进行自动标注，能够提升识别的准确性，且实现了在PC端的应用与部署。

本发明提供了一种面向舰船名标识字符的视频自动标注方法，包括如下步骤：

步骤1，输入长视频序列，确定长视频序列中的关键帧，根据关键帧将长视频序列截断成两个以上的短视频；

步骤2，将短视频输入视频段字符区域提取网络，得到各字符区域位置；

步骤3，将各字符区域输入字符识别网络，得到目标船名标识字符的识别结果。

步骤1包括：

步骤1-1，将长视频序列的每一帧依次输入到经过预训练的VGG16网络获得第T帧视频的特征图，将第T帧视频的特征图在一个维度上合并得到第T帧视频的特征向量F(T)，T的取值为1到视频的最大帧数；T指代视频中的任意一帧，T的取值取决于视频时长和帧率，比如60秒30FPS的视频一共有1800帧，则T取值1到1800；

步骤1-2，计算相邻两帧视频的特征向量F(T)和F(T-1)的二范数，如果二范数大于阈值，一般阈值设定为特征向量模值的20％，则判定相邻两帧视频差异过大，判定第T帧视频为异常帧，否则为是正常帧；

步骤1-3，判断异常帧是否为关键帧：设定第T帧视频为异常帧，将第T帧视频与第T-1帧视频做差分处理，得到差分图像diff(T,T-1)，同时计算第T-2帧视频与第T-1帧视频的差分图像diff(T-1,T-2)；将差分图像diff(T,T-1)和diff(T-1,T-2)输入到经过预训练的VGG16网路中，分别获得差分图像diff(T,T-1)和diff(T-1,T-2)的特征向量F(diff(T,T-1))和F(diff(T-1,T-2))；

步骤1-4，计算F(diff(T,T-1))和F(diff(T-1,T-2))的二范数，如果二范数大于阈值，一般阈值设定为特征向量模值的20％，则判定特征向量F(diff(T,T-1))和F(diff(T-1,T-2))差异过大，第T帧视频为关键帧，否则判定差异不大，第T帧视频被重新归类于正常帧；

步骤1-5，根据关键帧检测的结果，将长视频序列截断成两个以上的短视频，每个短视频的第一帧为长视频的关键帧，最后一帧为长视频下一次关键帧的前一帧或者长视频的最后一帧。

步骤2中，所述视频段字符区域提取网络包括U型卷积网络、双层ConvGRU网络和3D卷积网络；