[发明专利]对视频创意中插入的广告进行识别的方法

权利要求书

1.一种对视频创意中插入的广告进行识别的方法，其特征在于，包括：

对输入的视频进行镜头切分，将所述视频切分成突变镜头和渐变镜头；

利用CNN网络对镜头进行特征提取，根据提取出来的镜头的音频特征和图像特征利用LSTM网络和Attention网络判断待分类的所述渐变镜头是广告镜头或者非广告镜头；

对广告镜头的文字特征和音频特征进行识别。

2.根据权利要求1所述的方法，其特征在于，所述的对输入的视频进行镜头切分，将所述视频切分成突变镜头和渐变镜头，包括：

利用M曼哈顿距离和DM曼哈顿差分距离识别突变镜头的边界，将视频中突变镜头切分出来，所述突变镜头是指后一个镜头的开始连接前一个镜头的结尾，中间没有过渡画面；

利用颜色的变化趋势以及P值将渐变镜头进行切分，所述P值是指R、G、B三个颜色空间的像素平均值，渐变镜头是指在镜头切换的时候使用某种效果，从而将整个视频切分成突变镜头和渐变镜头，所述突变镜头和渐变镜头是视频中的一组无间隔的连续画面，是视频的基本组成单位，包含声音和图像。

3.根据权利要求1所述的方法，其特征在于，所述的利用CNN网络对镜头进行特征提取，根据提取出来的镜头的音频特征和图像特征利用LSTM网络和Attention网络判断待分类的所述渐变镜头是广告镜头或者非广告镜头，包括：

提取待分类的镜头的音频数据，将该音频数据转化为二维图像，提取待分类的镜头中四帧图像作为镜头的图像数据，利用CNN网络对所述二维图像和图像数据进行特征提取，得到图像特征向量和音频特征向量，将所述图像特征向量和音频特征向量融合后输入到LSTM网络和Attention网络，所述LSTM网络捕获前后帧的关系，所述Attention网络通过训练获得图像特征向量和音频特征向量分别对应的权重，根据特征向量和音频特征向量的权重得到图像和音频对镜头的分类结果的贡献比重；利用LSTM网络和Attention网络搭建镜头分类模型，通过训练来调节镜头分类模型的参数，将训练过程中的准确率最高的模型保存下来得到镜头分类模型；

如果音频对镜头的分类结果的贡献比重大，则将所述音频特征向量输入到训练好的镜头分类模型中，所述镜头分类模型输出所述待分类的镜头是广告镜头还是非广告镜头的判断结果；如果图像对镜头的分类结果的贡献比重大，则将所述图像特征向量输入到训练好的镜头分类模型中，所述镜头分类模型输出所述待分类的镜头是广告镜头还是非广告镜头的判断结果。

4.根据权利要求3所述的方法，其特征在于，所述的将所述图像特征向量和音频特征向量融合后输入到LSTM网络和Attention网络，包括：

将所述图像特征向量和音频特征向量直接进行拼接后，先输入到LSTM网络中，再将LSTM网络的输出分值输入到Attention网络；

或者，

将所述音频特征向量作为待分类的镜头的一个新特征向量，将所述图像特征向量和音频特征向量先输入到Attention网络中，后输入到LSTM网络。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述的对广告镜头的文字特征和音频特征进行识别，包括：

将广告镜头的一帧图像输入到Faster R-CNN网络得到feature map特征图，再将feature map特征图输入到RPN网络，产生一组k个候选边界框，对每个候选边界框提取特征得到特征向量，根据该特征向量通过分类器来判断该候选边界框的区域是否是文字区域；

在判断所述区域是文字区域后，将该区域中的文字内容识别出来，使用CTC时序分类算法对所述文字区域的图像进行文字内容识别，并输出一系列字符；

提取广告镜头的音频特征，并将提取得到的镜头音频特征与数据库中完整广告的音频特征进行匹配，将两者特征的相似性作为匹配得分，匹配得分最高的广告视为所述广告镜头的音频特征的识别结果。