[发明专利]生成信息的方法和装置

权利要求书

1.一种生成信息的方法，包括：

获取待识别视频；

采用视频理解技术理解所述待识别视频的内容，得到视频内容标签；

采用文本数据分析技术分析所述待识别视频的文本，得到视频文本标签；

基于视频内容标签和视频文本标签，确定待识别视频的语义标签。

2.根据权利要求1所述的方法，其中，所述采用视频理解技术理解视频内容，得到视频内容标签包括以下至少一项：

将所述待识别视频输入视频分类模型，得到类别标签；

逐帧检测所述待识别视频的视频帧内的人脸，将检测到的人脸与人脸库内的人脸样本进行匹配，获取与检测到的人脸相匹配的人脸样本的人物名标签和关联该人物名的人物信息标签；

采用预先训练的动作检测模型，逐帧识别所述待识别视频的视频帧内的动作，得到动作信息，融合各帧的动作信息，得到动作标签；

采用预先训练的识别分类模型，逐帧识别所述待识别视频的视频帧内的场景和实体并融合识别结果，得到视频帧内的场景标签和实体标签。

3.根据权利要求2所述的方法，其中，所述将所述待识别视频输入视频分类模型，得到类别标签包括：

均匀抽取所述待识别视频的视频帧，得到待识别视频帧序列；

采用图像分类网络对待识别视频帧序列进行特征提取，得到待识别视频的图像特征序列；

抽取所述待识别视频的音频信号；

将所述待识别视频的音频信号输入语音分类的卷积神经网络，对每秒的语音进行特征提取，得到待识别视频的语音特征序列；

基于所述图像特征序列和所述语音特征序列，确定待识别视频对应各个标签的概率值；

将概率值大于阈值的标签确定为所述待识别视频的类别标签。

4.根据权利要求3所述的方法，其中，所述基于所述图像特征序列和所述语音特征序列，确定待识别视频对应各个标签的概率值包括：

将所述图像特征序列和所述语音特征序列输入预先训练的双流长短期记忆网络，得到所述待识别视频对应各个标签的概率值。

5.根据权利要求3所述的方法，其中，所述图像分类网络基于采用时序分段网络所建模的视频帧的特征和视频样本对应的标签训练得到；和/或

所述语音分类的卷积神经网络基于以下步骤确定：提取视频样本的音频信号中的梅尔标度滤波器组特征；基于梅尔标度滤波器组特征和音频信号对应的标签，训练语音分类的卷积神经网络。

6.根据权利要求1所述的方法，其中，所述待识别视频的文本包括以下至少一项：

所述待识别视频的标题文本；

采用视频OCR检测所述待识别视频所得到的视频帧中的文本。

7.根据权利要求1或6任意一项所述的方法，其中，所述采用文本数据分析技术分析所述待识别视频的文本，得到视频文本标签包括：

基于所述待识别视频的文本，从多级标签数据库中提取所述待识别视频的候选实体标签；

基于NLP技术分析所述实体标签的词性和重要度，筛选得到视频文本标签。

8.根据权利要求1所述的方法，其中，所述基于视频内容标签和视频文本标签，确定待识别视频的语义标签包括：

基于预先建立的多级标签数据库，确定所述视频内容标签中的标签所属的类别、所述视频内容标签中的标签与多级标签数据库内其它标签之间的关系；

采用自然语言处理技术，分析所述视频内容标签中的标签、所述视频内容标签中的标签所属的类别的标签以及基于所述关系所确定的标签的词性和重要度；

基于所述词性和重要度，对所述视频内容标签和所述视频文本标签中的标签进行排序和筛选，得到待识别视频的语义标签。

9.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述视频文本标签，向用户推送视频。