[发明专利]确定视频中高光片段的方法、介质、装置和计算设备在审
申请号: | 202110784214.2 | 申请日: | 2021-07-12 |
公开(公告)号: | CN113569668A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 肖强;展丽霞;李双江;虞勇波 | 申请(专利权)人: | 杭州网易云音乐科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06F16/35;G06F40/289 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 申亚辉 |
地址: | 310052 浙江省杭州市萧山区钱江世*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 确定 视频 中高 片段 方法 介质 装置 计算 设备 | ||
1.一种确定视频中高光片段的方法,包括:
确定待推荐给用户的视频,并获取所述视频中对应于不同场景的至少两个视频片段;
将所述用户的用户特征与所述至少两个视频片段分别对应的视频片段特征,输入目标模型,输出所述用户分别对所述至少两个视频片段的偏好度;
根据所述至少两个视频片段分别对应的偏好度的大小,从所述至少两个视频片段中确定高光片段。
2.如权利要求1所述方法,获取所述视频中对应于不同场景的至少两个视频片段,包括:
针对所述视频的每个单位时长,提取该单位时长内的视频帧;
计算所述视频的各单位时长分别对应的视频帧之间的相似度,将相似度小于指定阈值的若干单位时长合并为一个时段;
从所述视频中提取对应于不同时段的至少两个视频片段,作为对应于不同场景的至少两个视频片段。
3.如权利要求1所述方法,还包括:
针对所述至少两个视频片段中每个视频片段,从该视频片段中提取多个关键视频帧,并确定提取的每个关键视频帧对应的图像特征;
将包含每个关键视频帧对应的图像特征的集合,作为该视频片段对应的视频片段特征。
4.如权利要求3所述方法,还包括:
根据所述视频对应的介绍性文本、标题文本、字幕文本中的至少一个,确定所述视频对应的文本特征;
针对所述至少两个视频片段中每个视频片段,将所述视频对应的文本特征,作为该视频片段对应的视频片段特征。
5.如权利要求1所述方法,所述用户特征用于表征所述用户的视频偏好。
6.如权利要求1所述方法,所述目标模型对所述用户特征与所述至少两个视频片段分别对应的视频片段特征进行的处理包括:
针对所述至少两个视频片段中每个视频片段,基于自注意力机制,将该视频片段对应的视频片段特征进行映射,得到该视频片段对应的映射特征;
根据所述用户特征与该视频片段对应的映射特征,计算得到所述用户对该视频片段的偏好度。
7.如权利要求1所述方法,所述目标模型的训练方法包括:
获取视频样本集合;
针对每个视频样本,获取该视频样本中对应于不同场景的至少两个视频片段样本;
将用户特征与该至少两个视频片段样本分别对应的视频片段特征,输入目标模型进行模型训练,输出用户分别对该至少两个视频片段样本的预测偏好度;
其中,该至少两个视频片段样本中被用户选定为高光片段的视频片段样本对应的预测偏好度为A,该至少两个视频片段样本中未被用户选定为高光片段的视频片段样本对应的预测偏好度集合为Bi,i=1、……、N,N为未被用户选定为高光片段的视频片段样本的数量;
所述目标模型的训练目标为,将所述预测偏好度A与所述预测偏好度集合Bi的差距最大化处理。
8.一种确定视频中高光片段的装置,包括:
获取模块,确定待推荐给用户的视频,并获取所述视频中对应于不同场景的至少两个视频片段;
分析模块,将所述用户的用户特征与所述至少两个视频片段分别对应的视频片段特征,输入目标模型,输出所述用户分别对所述至少两个视频片段的偏好度;
确定模块,根据所述至少两个视频片段分别对应的偏好度的大小,从所述至少两个视频片段中确定高光片段。
9.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现权利要求1至7任一所述的方法。
10.一种计算设备,包括存储器、处理器;所述存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现权利要求1至7任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州网易云音乐科技有限公司,未经杭州网易云音乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110784214.2/1.html,转载请声明来源钻瓜专利网。