[发明专利]用于生成信息的方法和装置有效
申请号: | 201811273478.6 | 申请日: | 2018-10-30 |
公开(公告)号: | CN109446990B | 公开(公告)日: | 2020-02-28 |
发明(设计)人: | 袁泽寰;王长虎 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N20/00 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 生成 信息 方法 装置 | ||
本申请实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括:获取目标视频;提取所述目标视频的视频特征向量,以及,提取所述目标视频的配乐的音频特征向量;将所述视频特征向量和所述音频特征向量进行融合,生成融合特征向量;将所述融合特征向量输入至预先训练的视频类别检测模型,得到目标视频的类别检测结果。该实施方式提高了视频类别检测的准确性。
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于生成信息的方法和装置。
背景技术
随着计算机技术的发展,视频类应用应运而生。用户可以利用视频类应用上传、发布视频。为保证视频质量以及便于向其他用户进行视频推送,通常需要确定用户上传的视频的类别。
相关的方式,通常是利用视频中的帧进行模型训练,以使训练后的模型能够检测图像类别。而后,利用训练后的模型对待检测视频中的帧进行分类,基于帧的类别检测结果,确定视频类别。
发明内容
本申请实施例提出了用于生成信息的方法和装置。
第一方面,本申请实施例提供了一种用于生成信息的方法,该方法包括:获取目标视频;提取目标视频中的帧的特征,生成视频特征向量,以及,提取目标视频的配乐的特征,生成音频特征向量;将视频特征向量和音频特征向量进行融合,生成融合特征向量;将融合特征向量输入至预先训练的视频类别检测模型,得到目标视频的类别检测结果,其中,视频类别检测模型用于表征视频的融合特征向量与视频类别的对应关系。
在一些实施例中,将视频特征向量和音频特征向量进行融合,生成融合特征向量,包括:分别将视频特征向量和音频特征向量升维至目标维数;确定升维后的视频特征向量与升维后的音频特征向量的向量积;将向量积作为音视频特征向量,将音视频特征向量中的特征值按照预设特征值数量切分为多组,确定各组的特征值之和;将各组的特征值之和进行汇总,生成融合特征向量。
在一些实施例中,将视频特征向量和音频特征向量进行融合,生成融合特征向量,包括:将视频特征向量和音频特征向量进行拼接,生成融合特征向量。
在一些实施例中,提取目标视频中的帧的特征,生成视频特征向量,包括:提取目标视频中的至少一帧;将至少一帧输入至预先训练的视频特征提取模型,得到目标视频的视频特征向量,其中,视频特征提取模型用于提取视频特征。
在一些实施例中,视频类别检测模型通过如下步骤训练得到:提取样本集,其中,样本集中的样本包括样本视频和用于指示样本视频的类别的标注信息;对于样本集中的样本,提取该样本中的样本视频的样本视频特征向量,以及,提取该样本中的样本视频的配乐的样本音频特征向量,将样本视频特征向量和样本音频特征向量进行融合,生成样本融合特征向量;利用机器学习方法,将样本的样本融合特征向量作为输入,将所输入的样本融合特征向量对应的标注信息作为输出,训练得到视频类别检测模型。
第二方面,本申请实施例提供了一种用于生成信息的装置,该装置包括:获取单元,被配置成获取目标视频;提取单元,被配置成提取目标视频中的帧的特征,生成视频特征向量,以及,提取目标视频的配乐的特征,生成音频特征向量;融合单元,被配置成将视频特征向量和音频特征向量进行融合,生成融合特征向量;输入单元,被配置成将融合特征向量输入至预先训练的视频类别检测模型,得到目标视频的类别检测结果,其中,视频类别检测模型用于表征视频的融合特征向量与视频类别的对应关系。
在一些实施例中,融合单元,包括:维度调整模块,被配置成分别将视频特征向量和音频特征向量升维至目标维数;确定模块,被配置成确定升维后的视频特征向量与升维后的音频特征向量的向量积;切分模块,被配置成将向量积作为音视频特征向量,将音视频特征向量中的特征值按照预设特征值数量切分为多组,确定各组的特征值之和;汇总模块,被配置成将各组的特征值之和进行汇总,生成融合特征向量。
在一些实施例中,融合单元,包括:拼接模块,被配置成将视频特征向量和音频特征向量进行拼接,生成融合特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811273478.6/2.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置