[发明专利]一种基于文字识别的视频内容判断方法

权利要求书

1.一种基于文字识别的视频内容判断方法，其特征在于，包括以下步骤：

A.对视频画面进行截图；

B.调用预先训练完毕的文字检测模型对截图画面进行文字区域的分析，找到画面中的文字区域并分割出来，获得一块或多块文字区域；

C.检测到文字区域后，调用预先训练完毕的文字识别模型，循环对每一块文字区域进行文字识别，识别出每个文字区域的文字内容；

D.针对识别出的文字内容，进行自然语言处理，理解其语义，做出相应的视频播放设置；

所述步骤A中还包括对截图画面进行需要文字识别的若干图像区域的划分设置；

所述步骤B具体为：

B1.调用预先训练完毕的文字检测模型对截图画面进行文字区域的分析，找到画面中的文字区域并分割出来，获得一块或多块文字区域；

B2.若检测到的文字区域，在预先设定的需要文字识别的图像区域，则进入步骤C，否则，返回步骤A；

所述步骤B中的文字检测模型为基于tensorflow的mobilenet-ssd神经网络的卷积神经网络；对所述卷积神经网络的训练步骤过程如下：

S1.针对神经网络输入特点，收集预设数量的有文字内容的视频图像样本；

S2.对每一张有文字内容的视频图像样本，至少提取出文字所在区域的矩形框坐标、文字内容、文字语言类别的信息以及图像样本本身的图像大小和图像格式信息；

S3.针对步骤S1及步骤S2获取的图像样本及其样本信息，将其生成tensorflow支持的tfrecord格式的训练文件和验证文件，其中，训练文件和验证文件的图像不同，训练文件和验证文件存储的图像格式和图像信息格式相同；

S4.利用训练文件对模型进行训练，以生成预先确定的文字检测模型，并利用验证文件对生成的文字检测模型进行验证；

S5.若验证准确率大于或等于预设阈值，或者训练步数达到一定的步数，则训练完成；

S6.若验证准确率低于预设阈值，则增加有文字内容的视频图像样本，或者调试模型参数，并重复执行上述步骤，直到训练完成。

2.根据权利要求1所述的一种基于文字识别的视频内容判断方法，其特征在于，所述步骤C中的文字识别模型为基于注意力模型的卷积循环神经网络。

3.根据权利要求2所述的一种基于文字识别的视频内容判断方法，其特征在于，所述基于注意力模型的卷积循环神经网络为基于tensorflow的Attention-CRNN神经网络。

4.根据权利要求3所述的一种基于文字识别的视频内容判断方法，其特征在于，所述基于注意力模型的卷积循环神经网络的训练步骤如下：

S101.创建中文字典，并裁剪文字检测模型中使用的视频图像样本中的文字区域图像，生成文字图像样本数据集；

S102.将样本数据集结合中文字典，生成训练所需要的tfrecord格式文件，同样分为训练文件和验证文件，训练文件和验证文件的图像不同，但其存储的图像格式和图像信息格式相同；

S103.利用训练文件对模型进行训练，以生成预先确定的文字识别模型，并利用验证文件对生成的文字识别模型进行验证；

S104.若验证准确率大于或等于预设阈值，或者训练步数达到一定的步数，则训练完成；

S105.若验证准确率低于预设阈值，则增加有文字内容的视频图像样本，或者调试模型参数，重复执行上述步骤，直到训练完成。

5.根据权利要求1至4中任一所述的一种基于文字识别的视频内容判断方法，其特征在于，所述步骤D具体包括以下步骤：

D1.对识别的文字进行分词，分成单个的词组；

D2.对每个词组与预先确定的词组表进行关键字匹配；

D3.若当前图像中有词组为预先确定的词组，且持续数帧图像皆为该预先确定的词组，则判断当前图像场景为该预先确定的词组场景，并进行对应的场景处理。