[发明专利]视频弹幕检测识别方法及装置

说明书

本发明实施例提供一种视频弹幕检测识别方法及装置，所述方法包括：将待测图像输入至预先训练好的TextBoxes++网络中进行弹幕文字的检测，获取所述待测图像中弹幕文字的坐标信息；基于所述弹幕文字的坐标信息对包含弹幕文字的图像区域进行切片处理，并将切片图像输入至预先训练好的卷积循环神经网络CRNN网络中进行对弹幕文字的识别，获取所述弹幕文字的文本识别结果；本发明实施例采用层次化的双层设计，分别利用TextBoxes++检测网络和CRNN网络实现视频弹幕文本检测和视频弹幕文本识别，从而使得本发明实施例既能满足视频弹幕文本检测的速度，又能满足视频弹幕文本识别的精度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频弹幕检测识别方法及装置。

背景技术

生活在互联网时代，网络与人们的生活越来越密不可分。网络给人们带来便利的同时，也埋藏着一些安全隐患，净化网络环境，维护网络安全势在必行。网络安全产业与人工智能等新技术的融合趋势正日趋明显。随着各种视频软件的普及，人们开始热衷于在观影时分享自己的感受，“弹幕”也成为各视频运营商吸引用户的一种有利手段，但与此同时，也不乏一些危害人民身心健康的言论的传播。截止到现在，人们对于视频弹幕净化的需求更加的急切，因为弹幕可以方便人们对于视频观影感受的实时分享，创造一个文明的视频弹幕环境有赖于新技术的发展。然而与一般文字检测识别相比，视频弹幕检测技术的难点在于场景中的文字方向多变、多种比例、字小。

随着现在图像处理技术的进步和相关领域(人工智能和模式识别技术)慢慢发展，还有高速的数字信号处理器的开发，让自动识别成为了可能。但是在复杂背景下视频弹幕文字检测识别方面，还没有形成一个比较成熟的理论和方法，所以现在急需发明一种针对复杂背景下视频弹幕文字的检测识别方法。

发明内容

针对现有技术中的问题，本发明实施例提供一种视频弹幕检测识别方法及装置。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种视频弹幕检测识别方法，包括：

将待测图像输入至预先训练好的TextBoxes++网络中进行弹幕文字的检测，获取所述待测图像中弹幕文字的坐标信息；

基于所述弹幕文字的坐标信息对包含弹幕文字的图像区域进行切片处理，并将切片图像输入至预先训练好的卷积循环神经网络CRNN网络中进行对弹幕文字的识别，获取所述弹幕文字的文本识别结果；

其中，所述预先训练好的TextBoxes++网络和预先训练好的CRNN网络为预先采用带有弹幕文字位置和弹幕文字内容标注信息的视频弹幕样本图像进行训练后得到的。

进一步地，所述将待测图像输入至预先训练好的TextBoxes++网络中进行弹幕文字的检测，获取所述待测图像中弹幕文字的坐标信息，具体包括：

修改TextBoxes++网络的长宽比约束条件，使得修改后的TextBoxes++网络适用检测各种长宽比条件下的文本信息；

利用预先准备的带有弹幕文字位置和弹幕文字内容标注信息的视频弹幕样本图像对修改后的TextBoxes++网络进行训练，得到训练好的TextBoxes++网络；

将待测图像输入至训练好的TextBoxes++网络进行弹幕文字的检测，得到弹幕文字检测框，并获取所述弹幕文字检测框中弹幕文字的坐标信息。

进一步地，所述修改TextBoxes++网络的长宽比约束条件，具体包括：

将TextBoxes++网络的aspect ratio修改为{2，5，7，9，10}。

进一步地，所述将待测图像输入至训练好的TextBoxes++网络进行弹幕文字的检测，具体包括：