[发明专利]一种视频内容描述信息的生成方法和设备在审

专利信息
申请号: 202110044445.X 申请日: 2021-01-13
公开(公告)号: CN112749660A 公开(公告)日: 2021-05-04
发明(设计)人: 陈南希;刘李黎;张睿芃;李燕北;王俊翰;张晓林 申请(专利权)人: 中国科学院上海微系统与信息技术研究所
主分类号: G06K9/00 分类号: G06K9/00;G06K9/46
代理公司: 广州三环专利商标代理有限公司 44202 代理人: 郝传鑫;贾允
地址: 200050 *** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 视频 内容 描述 信息 生成 方法 设备
【权利要求书】:

1.一种视频内容描述信息的生成方法,其特征在于,包括:

获取目标视频的图像序列;

将所述图像序列划分为多个子图像序列;所述多个子图像序列中任意连续两个子图像序列对应不同的场景;

针对所述多个子图像序列中每个子图像序列:根据已训练的第一检测模型对当前子图像序列的首帧图像进行检测,得到对应的静态场景描述信息;根据已训练的第二检测模型对所述当前子图像序列中除所述首帧图像之外的图像进行检测,得到对应的动态事件描述信息;根据所述静态场景描述信息和所述动态事件描述信息,确定所述当前子图像序列对应的内容描述信息。

2.根据权利要求1所述的方法,其特征在于,所述将所述图像序列划分为多个子图像序列,包括:

确定所述图像序列的每帧图像中前景和/或后景的占比值;

根据所述每帧图像中前景和/或后景的占比值,确定所述图像序列中发生场景切换的图像帧;

基于所述发生场景切换的图像帧,将所述图像序列划分为多个子图像序列。

3.根据权利要求2所述的方法,其特征在于,所述根据所述每帧图像中前景和/或后景的占比值,确定所述图像序列中发生场景切换的图像帧,包括:

若当前帧图像中前景和/或后景的占比值大于或者等于第一预设占比值,且所述当前帧图像的前一帧图像中前景和/或后景的占比值小于第二预设占比值,则将所述当前帧图像确定为所述发生场景切换的图像帧;其中,所述第一预设占比值大于所述第二预设占比值。

4.根据权利要求1所述的方法,其特征在于,所述将所述图像序列划分为多个子图像序列,包括:

对所述图像序列中每帧图像进行边缘检测,确定所述每帧图像对应的特性信息;

根据所述每帧图像对应的特性信息,确定所述图像序列中发生场景切换的图像帧;

基于所述发生场景切换的图像帧,将所述图像序列划分为多个子图像序列。

5.根据权利要求4所述的方法,其特征在于,所述根据所述每帧图像对应的特性信息,确定所述图像序列中发生场景切换的图像帧,包括:

若当前帧图像对应的特征信息与前一帧图像对应的特征信息之间的相似程度值小于预设值,且所述前一帧图像对应的特征信息与前前一帧图像对应的特征信息之间的相似程度值大于等于所述预设值,则将所述当前帧图像确定为所述发生场景切换的图像帧。

6.根据权利要求3或5所述的方法,其特征在于,所述基于所述发生场景切换的图像帧,将所述图像序列划分为多个子图像序列,包括:

将所述发生场景切换的图像帧确定为当前子图像序列的首帧图像;

将所述前一帧图像确定为前一个子图像序列的尾帧图像。

7.根据权利要求1所述的方法,其特征在于,所述已训练的第一检测模型为第一RelDN模型;

所述根据已训练的第一检测模型对当前子图像序列的首帧图像进行检测,得到对应的静态场景描述信息,包括:

将所述当前子图像序列的首帧图像作为所述第一RelDN模型的输入,输出对应的静态场景描述信息;所述静态场景描述信息包括至少两个对象以及两个对象之间的静态关系。

8.根据权利要求1所述的方法,其特征在于,所述已训练的第二检测模型为基于预设数据集训练得到的第二RelDN模型;

所述根据已训练的第二检测模型对所述当前子图像序列中除所述首帧图像之外的图像进行检测,得到对应的动态事件描述信息,包括:

将所述当前子图像序列中除所述首帧图像之外的图像作为所述第二RelDN模型的输入,输出对应的动态事件描述信息;所述动态事件描述信息包括至少两个对象以及两个对象之间的动态关系。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院上海微系统与信息技术研究所,未经中国科学院上海微系统与信息技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110044445.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top