[发明专利]一种视频场景划分方法、装置、设备及介质有效
申请号: | 201910804662.7 | 申请日: | 2019-08-28 |
公开(公告)号: | CN110619284B | 公开(公告)日: | 2023-09-05 |
发明(设计)人: | 胡东方 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/762 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 李娟 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 场景 划分 方法 装置 设备 介质 | ||
1.一种视频场景划分方法,其特征在于,包括:
对视频进行镜头切分,得到所述视频对应的镜头集合;
将所述镜头集合中每相邻的两个镜头划分为一个场景检测单位,得到所述镜头集合对应的各个场景检测单位;
针对每一个场景检测单位,获取所述场景检测单位中前一个镜头对应的所有图像中的后N帧图像,并将后N帧图像组成的图像序列确定为所述前一个镜头对应的目标图像序列,以及,获取所述场景检测单位中后一个镜头对应的所有图像中的前M帧图像,并将前M帧图像组成的图像序列确定为所述后一个镜头对应的目标图像序列;分别对所述两个镜头各自对应的目标图像序列进行图像特征提取,得到所述两个镜头各自对应的图像特征数据,基于所述两个镜头各自对应的图像特征数据,利用图像聚类模型,获得所述场景检测单位对应的图像聚类结果,其中,N、M为大于1的正整数,场景检测单位对应的聚类结果表征所述场景检测单位中的两个镜头是否属于同一个场景;
分别将所述各个场景检测单位各自对应的图像聚类结果,确定为所述各个场景检测单位各自对应的聚类结果;
根据所述各个场景检测单位各自对应的聚类结果,对所述镜头集合中属于同一个场景的各个镜头进行合并,得到各个合并镜头;
根据所述各个合并镜头和所述镜头集合中的各个未合并镜头,得到所述视频对应的各个视频场景。
2.如权利要求1所述的视频场景划分方法,其特征在于,分别将所述各个场景检测单位各自对应的图像聚类结果,确定为所述各个场景检测单位各自对应的聚类结果之前,所述方法还包括:
针对每一个场景检测单位,获取所述场景检测单位中的两个镜头各自对应的目标语音信号,分别将所述两个镜头各自对应的目标语音信号转化为文本向量,基于所述两个镜头各自对应的文本向量,并利用文本聚类模型,获得所述场景检测单位对应的文本聚类结果;
分别将所述各个场景检测单位各自对应的文本聚类结果,确定为所述各个场景检测单位各自对应的聚类结果。
3.如权利要求2所述的视频场景划分方法,其特征在于,获取所述场景检测单位中的两个镜头各自对应的目标语音信号,包括:
获取所述场景检测单位中前一个镜头对应的所有语音信号,并将所有语音信号确定为所述前一个镜头对应的目标语音信号,以及,获取所述场景检测单位中后一个镜头对应的所有语音信号,并将所有语音信号确定为所述后一个镜头对应的目标语音信号;或者,
获取所述场景检测单位中前一个镜头的后N帧图像对应的语音信号,并将后N帧图像对应的语音信号确定为所述前一个镜头对应的目标语音信号,以及,获取所述场景检测单位中后一个镜头的前M帧图像对应的语音信号,并将前M帧图像对应的语音信号确定为所述后一个镜头对应的目标语音信号,其中,N、M为大于1的正整数。
4.如权利要求1所述的视频场景划分方法,其特征在于,根据所述各个场景检测单位各自对应的聚类结果,对所述镜头集合中属于同一个场景的各个镜头进行合并,得到各个合并镜头,包括:
根据所述各个场景检测单位各自对应的聚类结果,从所述各个场景检测单位中,筛选出各个目标场景检测单位,其中,所述目标场景检测单位是包含的两个镜头属于同一个场景的场景检测单位;
将相邻的各个目标场景检测单位整合至同一个镜头合并单位,将不相邻的各个目标场景检测单位分别作为一个镜头合并单位;
分别对各个镜头合并单位中的镜头进行合并,得到所述各个合并镜头。
5.如权利要求1-4任一项所述的视频场景划分方法,其特征在于,将所述镜头集合中每相邻的两个镜头划分为一个场景检测单位,得到所述镜头集合对应的各个场景检测单位之后,还包括:
针对每一个场景检测单位,获取所述场景检测单位中的两个镜头各自对应的目标语音信号,分别将所述两个镜头各自对应的目标语音信号转化为文本信息,并根据所述两个镜头各自对应的文本信息,获得所述两个镜头各自对应的关键词集合,根据所述两个镜头各自对应的关键词集合的重合度,检测所述场景检测单位中的两个镜头是否属于同一个场景;
根据所述各个场景检测单位各自对应的检测结果,对所述镜头集合中属于同一个场景的各个镜头进行合并,得到所述视频对应的各个视频场景。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910804662.7/1.html,转载请声明来源钻瓜专利网。