[发明专利]视频特征提取模型的训练方法、视频推荐方法及装置在审
申请号: | 202011064441.X | 申请日: | 2020-09-30 |
公开(公告)号: | CN112149604A | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 侯晓霞;许盛辉;潘照明 | 申请(专利权)人: | 网易传媒科技(北京)有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 王媛媛 |
地址: | 100193 北京市海淀区西北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 特征 提取 模型 训练 方法 推荐 装置 | ||
1.一种视频特征提取模型的训练方法,其特征在于,包括:
基于多个用户针对视频的点击行为,确定出相关视频;
基于确定出的相关视频,构建多个三元组,其中,每个三元组包括目标视频、与所述目标视频相关的第一视频、以及与所述目标视频不相关的第二视频;
基于视频特征提取模型,提取每个三元组中的每个视频的特征表示;
针对每个三元组,基于所述每个三元组中的目标视频的特征表示和第一视频的特征表示之间的相似度、以及目标视频的特征表示和第二视频的特征表示之间的相似度,确定所述每个三元组对应的损失值;
基于所述多个三元组分别对应的损失值,更新所述视频特征提取模型的参数。
2.根据权利要求1所述的方法,其特征在于,所述基于多个用户针对视频的点击行为,确定出相关视频,具体包括:
获取多个用户针对视频的历史点击行为数据,每个用户的历史点击行为数据包括点击的视频和对应的点击时刻;
基于所述多个用户的历史点击行为数据,确定出多个共现视频对,每个共现视频对包括:在同一用户的历史点击行为数据中出现的、点击时刻相邻的两个视频;
统计每个共现视频对在所述多个用户的历史点击行为数据中出现的次数;
将出现的次数大于次数阈值的共现视频对中的两个视频,确定为相关视频。
3.根据权利要求1或2所述的方法,其特征在于,所述视频特征提取模型包括多个特征提取模块、特征拼接模块和全连接层,其中,每个特征提取模块对应一种内容信息;
所述基于视频特征提取模型,提取每个三元组中的每个视频的特征表示,具体包括:
针对任一三元组中的任一视频,从所述任一视频中获取多种内容信息;
针对任一内容信息,基于与所述任一内容信息对应的特征提取模块,提取所述任一内容信息对应的特征向量并输出;
基于所述特征拼接模块,对所述多个特征提取模块输出的特征向量进行拼接处理,以获得拼接特征向量并输出;
基于所述全连接层,将所述拼接特征向量转换为固定维度的向量,以获得所述任一视频对应的特征表示。
4.根据权利要求3所述的方法,其特征在于,所述内容信息的类型包括以下至少两种:视频帧、音频帧和文本信息。
5.根据权利要求4所述的方法,其特征在于,当所述任一内容信息为多个视频帧时,所述提取所述任一内容信息对应的特征向量,具体包括:
基于图像特征提取模型,分别从所述多个视频帧中提取对应的图像特征;
融合所述多个视频帧分别对应的图像特征,以获得一个视频帧特征向量。
6.一种视频推荐方法,其特征在于,包括:
获取用户点击的第三视频;
基于视频特征提取模型分别提取所述第三视频和多个候选视频的特征表示,其中,所述视频特征提取模型是基于权利要求1至7中任一项所述方法训练得到的;
分别确定所述第三视频的特征表示和每个候选视频的特征表示之间的相似度;
基于所述多个候选视频对应的相似度,从所述多个候选视频中确定出推荐给所述用户的视频。
7.一种视频特征提取模型的训练装置,其特征在于,包括:
相关视频确定单元,用于基于多个用户针对视频的历史点击行为数据,确定出相关视频;
训练数据构建模块,用于基于确定出的相关视频,构建多个三元组,其中,每个三元组包括目标视频、与所述目标视频相关的第一视频、以及与所述目标视频不相关的第二视频;
特征提取单元,用于基于视频特征提取模型,提取每个三元组中的每个视频的特征表示;
损失计算单元,用于针对每个三元组,基于所述每个三元组中的目标视频的特征表示和第一视频的特征表示之间的相似度、以及目标视频的特征表示和第二视频的特征表示之间的相似度,确定所述每个三元组对应的损失值;
更新单元,用于基于所述多个三元组分别对应的损失值,更新所述视频特征提取模型的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易传媒科技(北京)有限公司,未经网易传媒科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011064441.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于人工智能的光伏相机视角偏差判断方法及系统
- 下一篇:极耳焊接系统