[发明专利]一种基于连续兴趣点的视频剪辑方法及存储介质有效
申请号: | 202110585574.X | 申请日: | 2021-05-27 |
公开(公告)号: | CN113329259B | 公开(公告)日: | 2022-08-12 |
发明(设计)人: | 许含瑞 | 申请(专利权)人: | 瑞芯微电子股份有限公司 |
主分类号: | H04N21/44 | 分类号: | H04N21/44;H04N21/4402;H04N21/472;G06V20/40;G06V10/25;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 福州市景弘专利代理事务所(普通合伙) 35219 | 代理人: | 徐剑兵;林祥翔 |
地址: | 350003 福建省*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 连续 兴趣 视频剪辑 方法 存储 介质 | ||
1.一种基于连续兴趣点的视频剪辑方法,其特征在于,包括如下步骤,加载和解码视频流,送入视频智能剪辑模块,所述视频智能剪辑模块加载人工智能模型,所述人工智能模型被训练为识别视频流中特定连续画面特征,
进行步骤,人工智能模型对加载的视频流进行识别,仅保留具有满足特定连续画面特征条件的视频片段,删除其余片段,将保留的视频片段重编码为新视频,
视频智能剪辑模块包括图像后处理模块,图像后处理模块用于将多个连续画面特征进行多特征融合,多特征融合包括:画面特征按照权重优选,各帧中的画面特征占比大于第一阈值,且连续时间长度大于第二阈值,
特征区域评分的融合公式如下:
特征区域评分=MAX(S)*(Weight+Score+ΔD/MAX(D)+ΔT/MAX(T))
其中MAX(S)为最大基准分数;Weight为特征区域类型的权重;Score为特征区域的分数;ΔD/MAX(D)为特征区域的矩形中心和画面中心的归一化距离权重;ΔT/MAX(T)为特征区域的时间戳的归一化时间权重; 当画面出现多线多种画面特征时,按照上述特征区域评分公式,选取得分最大的为最终的特征区域,图像后处理模块按照最终目标图像的尺寸,将特征图像区域扩大到目标图像的尺寸。
2.根据权利要求1所述的基于连续兴趣点的视频剪辑方法,其特征在于,所述连续画面特征包括单主角模式、耍帅模式、正反派模式、英雄模式、场面模式和事件中心模式中的一种或多种,单主角模式的视频片段特征是单个人物角色;耍帅模式的视频片段特征是出现人物角色和移动的场景;正反派模式的视频片段特征是两个人物的言语交流或动作交互;场面模式视频片段特征是广角的景物;事件中心模式的视频片段特征是剧情相关的道具,所述连续画面特征是以多层向量权重参数的形式存储在人工智能模型文件中,人工智能模型具有短时记忆能力的多层卷积神经网络。
3.根据权利要求1所述的基于连续兴趣点的视频剪辑方法,其特征在于,还包括步骤,根据用户需求的格式将保留的视频片段重编码为新视频。
4.根据权利要求3所述的基于连续兴趣点的视频剪辑方法,其特征在于,所述格式包括ts、mp4、mkv、mov和hls。
5.一种基于连续兴趣点的视频剪辑存储介质,其特征在于,存储有计算机程序,所述计算机程序在被运行时执行包括如下步骤,加载和解码视频流,送入视频智能剪辑模块,所述视频智能剪辑模块加载人工智能模型,所述人工智能模型被训练为识别视频流中特定连续画面特征,
进行步骤,人工智能模型对加载的视频流进行识别,仅保留具有满足特定连续画面特征条件的视频片段,删除其余片段,将保留的视频片段重编码为新视频,
视频智能剪辑模块包括图像后处理模块,图像后处理模块用于将多个连续画面特征进行多特征融合,多特征融合包括:画面特征按照权重优选,各帧中的画面特征占比大于第一阈值,且连续时间长度大于第二阈值,
特征区域评分的融合公式如下:
特征区域评分=MAX(S)*(Weight+Score+ΔD/MAX(D)+ΔT/MAX(T))
其中MAX(S)为最大基准分数;Weight为特征区域类型的权重;Score为特征区域的分数;ΔD/MAX(D)为特征区域的矩形中心和画面中心的归一化距离权重;ΔT/MAX(T)为特征区域的时间戳的归一化时间权重; 当画面出现多线多种画面特征时,按照上述特征区域评分公式,选取得分最大的为最终的特征区域,图像后处理模块按照最终目标图像的尺寸,将特征图像区域扩大到目标图像的尺寸。
6.根据权利要求5所述的基于连续兴趣点的视频剪辑存储介质,其特征在于,所述连续画面特征包括单主角模式、耍帅模式、正反派模式、英雄模式、场面模式和事件中心模式中的一种或多种,单主角模式的视频片段特征是单个人物角色;耍帅模式的视频片段特征是出现人物角色和移动的场景;正反派模式的视频片段特征是两个人物的言语交流或动作交互;场面模式视频片段特征是广角的景物;事件中心模式的视频片段特征是剧情相关的道具,所述连续画面特征是以多层向量权重参数的形式存储在人工智能模型文件中,人工智能模型优选具有短时记忆能力的多层卷积神经网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于瑞芯微电子股份有限公司,未经瑞芯微电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110585574.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:供电系统
- 下一篇:一种用于建筑材料加工的切割装置