[发明专利]视频分类模型的训练方法、视频分类方法、装置及设备有效
申请号: | 201911026094.9 | 申请日: | 2019-10-25 |
公开(公告)号: | CN110751224B | 公开(公告)日: | 2022-08-05 |
发明(设计)人: | 尹康 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/764;G06K9/62 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 邢少真 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 分类 模型 训练 方法 装置 设备 | ||
1.一种视频分类模型的训练方法,其特征在于,所述方法包括:
获取长视频数据集,所述长视频数据集包括视频和标签之间的对应关系,所述视频的视频长度大于第一时长;
对所述长视频数据集中的视频进行时间维度的下采样,将采样得到的抽样视频帧进行分段,得到所述视频的至少两个视频片段,所述视频片段的视频长度小于第二时长,所述第二时长不大于所述第一时长;
将所述视频的至少两个视频片段和所述视频的标签进行组合,得到短视频数据集;
根据所述短视频数据集对分类模型进行训练,得到所述视频分类模型;
获取人工标注数据集,所述人工标注数据集包括样本视频片段和人工标注标签之间的对应关系;
对于所述人工标注数据集中的每个样本视频片段,采用二维卷积网络进行特征提取,得到所述样本视频片段对应的二维卷积特征;
将所述样本视频片段对应的二维卷积特征输入至所述视频分类模型,得到第二预测标签;
根据所述第二预测标签和所述样本视频片段对应的人工标注标签之间的误差,根据误差反向传播算法对所述视频分类模型进行微调训练,得到最终的所述视频分类模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述长视频数据集中的视频进行时间维度的下采样,将采样得到的视频帧进行分段,得到所述视频的至少两个视频片段,包括:
对所述长视频数据集中的视频按照预设频率进行时间维度的下采样,得到所述视频的抽样视频帧序列;
对所述视频的抽样视频帧序列进行等分分段,得到所述视频的至少两个视频片段。
3.根据权利要求2所述的方法,其特征在于,所述对所述视频的抽样视频帧序列进行等分分段,得到所述视频的至少两个视频片段,包括:
在随机数区间中为所述长视频数据集中的视频随机选择一个随机数作为分组数量;
按照所述分组数量对所述视频的抽样视频帧序列进行等分分段,得到所述视频的至少两个视频片段。
4.根据权利要求1至3任一所述的方法,其特征在于,所述根据所述短视频数据集对分类模型进行训练,得到所述视频分类模型,包括:
对于所述短视频数据集中的每个视频片段,采用二维卷积网络进行特征提取,得到所述视频片段对应的二维卷积特征;
将所述视频片段对应的二维卷积特征输入至分类模型得到第一预测标签;
根据所述第一预测标签和所述视频片段对应的标签之间的误差,根据误差反向传播算法对所述分类模型进行训练,得到所述视频分类模型。
5.一种视频分类方法,其特征在于,所述方法包括:
获取待分类的短视频,所述短视频的长度小于第二时长;
对所述短视频进行时间维度的下采样,得到短视频的 抽样视频帧;
对所述短视频的抽样视频帧进行特征提取,得到所述短视频的特征向量;
调用视频分类模型对所述特征向量进行预测,得到所述短视频的标签;所述视频分类模型是根据短视频数据集训练得到的;
其中,所述短视频数据集中的视频片段是对长视频数据集中的视频进行时间维度的下采样,将采样得到的抽样视频帧进行分段得到的,所述视频片段的长度小于第二时长,所述长视频数据集中的视频的长度大于第一时长,所述第二时长不大于所述第一时长;
其中,所述视频分类模型的训练方法包括:获取人工标注数据集,所述人工标注数据集包括样本视频片段和人工标注标签之间的对应关系;对于所述人工标注数据集中的每个样本视频片段,采用二维卷积网络进行特征提取,得到所述样本视频片段对应的二维卷积特征;将所述样本视频片段对应的二维卷积特征输入至所述视频分类模型,得到第二预测标签;根据所述第二预测标签和所述样本视频片段对应的人工标注标签之间的误差,根据误差反向传播算法对所述视频分类模型进行微调训练,得到最终的所述视频分类模型。
6.根据权利要求5所述的方法,其特征在于,所述对所述短视频进行时间维度的下采样,得到抽样视频帧,包括:
对所述短视频按照预设频率进行时间维度的下采样,得到所述短视频的抽样视频帧。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911026094.9/1.html,转载请声明来源钻瓜专利网。