[发明专利]视频的场景分类方法及装置、存储介质、终端有效
申请号: | 202110551518.4 | 申请日: | 2021-05-20 |
公开(公告)号: | CN113496208B | 公开(公告)日: | 2022-03-04 |
发明(设计)人: | 虞钉钉;胡贤良;徐清;于祥雨 | 申请(专利权)人: | 华院计算技术(上海)股份有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/74;G06V10/764;G06V10/774;G06K9/62;H04N7/18 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 张振军 |
地址: | 200436 上海市静*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 场景 分类 方法 装置 存储 介质 终端 | ||
1.一种视频的场景分类方法,其特征在于,所述方法包括:
获取输入视频,并从所述输入视频中提取图像序列,所述图像序列包括多帧图像,其中,每帧图像具有时间标签;
将所述多帧图像输入至场景分类模型,以得到各帧图像的场景分类结果,其中,所述场景分类模型是采用标注有场景分类结果的样本图像作为训练数据对预设模型进行训练得到的;
根据相邻两帧图像之间的场景相似度对所述图像序列进行划分,以得到多个图像子序列,其中,每个图像子序列中相邻两帧图像之间的场景相似度均超过第一预设阈值,相邻两帧图像之间的场景相似度是根据所述场景分类结果计算得到的;
根据每个图像子序列的场景分类结果和该图像子序列的时间信息确定所述输入视频的场景,其中,每个图像子序列的场景分类结果是根据该图像子序列中至少一帧图像的场景分类结果确定的,所述时间信息是根据该图像子序列中至少一帧图像的时间标签确定的;
其中,根据每个图像子序列的场景分类结果和该图像子序列的时间信息确定所述输入视频的场景包括:
根据每个图像子序列的场景分类结果和该图像子序列的时间信息确定输入视频中包含的一个或多个场景。
2.根据权利要求1所述的视频的场景分类方法,其特征在于,所述场景分类结果为图像属于各个预设场景的概率,所述相邻两帧图像包括当前帧图像和相邻帧图像,所述相邻两帧图像之间的场景相似度的计算方法包括:
根据所述当前帧图像的场景分类结果筛选出所述当前帧图像的第一优选场景,并根据所述相邻帧图像的场景分类结果筛选出所述相邻帧图像的第一优选场景,其中,所述第一优选场景为所述概率大于第二预设阈值的至少一个预设场景,或者,所述第一优选场景为所述概率最大的预设数量个预设场景;
对所述当前帧图像的第一优选场景和所述相邻帧图像的第一优选场景进行比对,以确定两者中相同的预设场景,记为第二优选场景;
将所述第二优选场景中预设场景的数量作为所述场景相似度。
3.根据权利要求1所述的视频的场景分类方法,其特征在于,根据相邻两帧图像之间的场景相似度对所述图像序列进行划分,以得到多个图像子序列包括:
步骤一:令i=1,k=1,将第i帧图像划分至第k个图像子序列;
步骤二:根据所述第i帧图像的场景分类结果和第i+1帧图像的场景分类结果计算所述第i帧图像和所述第i+1帧图像之间的场景相似度,并判断所述第i帧图像和所述第i+1帧图像之间的场景相似度是否大于所述第一预设阈值,如果所述场景相似度大于所述第一预设阈值,则执行步骤三,否则执行步骤四;
步骤三:将所述第i+1帧图像划分至第k个图像子序列,并继续执行步骤五;
步骤四:将所述第i+1帧图像划分至第k+1个图像子序列,然后令k=k+1,并继续执行步骤五;
步骤五:判断i是否小于N-1,如果是,则令i=i+1,并返回至步骤二,直至i等于N-1为止;
其中,1≤i≤N-1,1≤k≤N,N为所述多帧图像的数量,i、k、N为正整数,N≥2。
4.根据权利要求3所述的视频的场景分类方法,其特征在于,所述场景分类结果为图像属于各个预设场景的概率,根据第i帧图像的场景分类结果和第i+1帧图像的场景分类结果,计算所述第i帧图像和所述第i+1帧图像之间的场景相似度包括:
根据所述第i帧图像的场景分类结果筛选出所述第i帧图像的第一优选场景,并根据所述第i+1帧图像的场景分类结果筛选出所述第i+1帧图像的第一优选场景,其中,所述第一优选场景为所述概率大于第二预设阈值的至少一个预设场景,或者,所述第一优选场景为所述概率最大的预设数量个预设场景;
对所述第i帧图像的第一优选场景和所述第i+1帧图像的第一优选场景进行比对,以确定两者中相同的预设场景,记为第二优选场景;
将所述第二优选场景中预设场景的数量作为所述第i帧图像和所述第i+1帧图像之间的场景相似度。
5.根据权利要求4所述的视频的场景分类方法,其特征在于,将所述第i+1帧图像划分至第k个图像子序列之前,所述步骤三还包括:
将所述第i帧图像的场景分类结果和所述第i+1帧图像的场景分类结果进行合并,以得到第一合并结果,并将所述第一合并结果作为所述第i+1帧图像的场景分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华院计算技术(上海)股份有限公司,未经华院计算技术(上海)股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110551518.4/1.html,转载请声明来源钻瓜专利网。