[发明专利]用于生成信息的方法和装置

权利要求书

1.一种用于生成信息的方法，包括：

获取目标视频；

提取所述目标视频中的帧的特征，生成视频特征向量，以及，提取所述目标视频的配乐的特征，生成音频特征向量；

将所述视频特征向量和所述音频特征向量进行融合，生成融合特征向量；

将所述融合特征向量输入至预先训练的视频类别检测模型，得到目标视频的类别检测结果，其中，所述视频类别检测模型用于表征视频的融合特征向量与视频类别的对应关系；

其中，所述将所述视频特征向量和所述音频特征向量进行融合，生成融合特征向量，包括：响应于所述视频特征向量和所述音频特征向量的维度不同，分别将所述视频特征向量和所述音频特征向量的维度调整至目标维数；确定维度调整后的视频特征向量与维度调整后的音频特征向量的向量积；将所述向量积作为音视频特征向量，将所述音视频特征向量中的特征值按照预设特征值数量切分为多组，确定各组的特征值之和；将各组的特征值之和进行汇总，生成融合特征向量，其中，所述维度调整为升维或降维。

2.根据权利要求1所述的用于生成信息的方法，其中，所述提取所述目标视频中的帧的特征，以生成视频特征向量，包括：

提取所述目标视频中的至少一帧；

将所述至少一帧输入至预先训练的视频特征提取模型，得到所述目标视频的视频特征向量，其中，所述视频特征提取模型用于提取视频特征。

3.根据权利要求1所述的用于生成信息的方法，其中，所述视频类别检测模型通过如下步骤训练得到：

提取样本集，其中，所述样本集中的样本包括样本视频和用于指示样本视频的类别的标注信息；

对于样本集中的样本，提取该样本中的样本视频的样本视频特征向量，以及，提取该样本中的样本视频的配乐的样本音频特征向量，将所述样本视频特征向量和所述样本音频特征向量进行融合，生成样本融合特征向量；

利用机器学习方法，将样本的样本融合特征向量作为输入，将所输入的样本融合特征向量对应的标注信息作为输出，训练得到视频类别检测模型。

4.一种用于生成信息的装置，包括：

获取单元，被配置成获取目标视频；

提取单元，被配置成提取所述目标视频中的帧的特征，生成视频特征向量，以及，提取所述目标视频的配乐的特征，生成音频特征向量；

融合单元，被配置成将所述视频特征向量和所述音频特征向量进行融合，生成融合特征向量；

输入单元，被配置成将所述融合特征向量输入至预先训练的视频类别检测模型，得到目标视频的类别检测结果，其中，所述视频类别检测模型用于表征视频的融合特征向量与视频类别的对应关系；

其中，所述融合单元包括：维度调整模块，被配置成响应于所述视频特征向量和所述音频特征向量的维度不同，分别将所述视频特征向量和所述音频特征向量的维度调整至目标维数；确定模块，被配置成确定维度调整后的视频特征向量与维度调整后的音频特征向量的向量积；切分模块，被配置成将所述向量积作为音视频特征向量，将所述音视频特征向量中的特征值按照预设特征值数量切分为多组，确定各组的特征值之和；汇总模块，被配置成将各组的特征值之和进行汇总，生成融合特征向量，其中，所述维度调整为升维或降维。

5.根据权利要求4所述的用于生成信息的装置，其中，所述提取单元，进一步被配置成：

提取所述目标视频中的至少一帧；

将所述至少一帧输入至预先训练的视频特征提取模型，得到所述目标视频的视频特征向量，其中，所述视频特征提取模型用于提取视频特征。

6.根据权利要求4所述的用于生成信息的装置，其中，所述视频类别检测模型通过如下步骤训练得到：

提取样本集，其中，所述样本集中的样本包括样本视频和用于指示样本视频的类别的标注信息；

对于样本集中的样本，提取该样本中的样本视频的样本视频特征向量，以及，提取该样本中的样本视频的配乐的样本音频特征向量，将所述样本视频特征向量和所述样本音频特征向量进行融合，生成样本融合特征向量；

利用机器学习方法，将样本的样本融合特征向量作为输入，将所输入的样本融合特征向量对应的标注信息作为输出，训练得到视频类别检测模型。