[发明专利]一种基于深度学习的视频风格变换与自动生成方法及系统有效
申请号: | 201810812471.0 | 申请日: | 2018-07-23 |
公开(公告)号: | CN109002857B | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 佘莹莹;陈阳 | 申请(专利权)人: | 厦门大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;H04N21/466 |
代理公司: | 泉州市文华专利代理有限公司 35205 | 代理人: | 陈雪莹 |
地址: | 361000 福建*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 视频 风格 变换 自动 生成 方法 系统 | ||
1.一种基于深度学习的视频风格变换与自动生成方法,其特征在于:包括如下步骤:
步骤1、利用深度学习框架对拍摄主体进行类别分类以及风格模型训练,得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数,在学习大量不同类型的视频之后,生成对应主题或标签的关联模型,并创建视频片段风格素材资源库,用于按照类别与风格进行视频素材推荐;
步骤2、获取用户的待处理视频以及用户视频需求,所述视频需求包括风格要求和时长要求;
步骤3、通过产品识别模块自动识别待处理视频的类别,并结合用户的风格要求和时长要求,推荐对应的分镜数以及对应风格的视频素材供用户选择;
步骤4、根据用户选取的视频素材以及对视频素材顺序的调整,渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频;
步骤5、在生成风格视频后,将收集到的用户调整修改信息,作为反馈信息优化关联模型,并基于用户的最终选择结果,分析用户的喜好,对深度学习框架进行进一步的优化和更新,形成反馈学习模型。
2.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法,其特征在于:所述视频素材按宫格形式展示给用户,且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。
3.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法,其特征在于:所述片段渲染包括片段风格渲染和字幕效果。
4.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法,其特征在于:所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。
5.根据权利要求1所述的一种基于深度学习的视频风格变换与自动生成方法,其特征在于:所述步骤1具体包括:
利用深度学习框架对视频短片训练样本进行深度学习,得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数,通过对视频拍摄主体进行类别分类,将分类结果与风格资源库进行匹配,生成对应主题或标签的关联模型,基于所述关联模型,将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联;根据不同风格视频中素材的选取与搭配,建立视频片段风格素材资源库,并与资源库里的素材进行映射,用于按照类别与风格进行视频素材推荐。
6.一种基于深度学习的视频风格变换与自动生成系统,其特征在于:包括:
视频风格学习模块,用于利用深度学习框架对拍摄主体进行类别分类以及风格模型训练,得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数,在学习大量不同类型的视频之后,生成对应主题或标签的关联模型,并创建视频片段风格素材资源库,用于按照类别与风格进行视频素材推荐;
用户需求模块,用于获取用户的待处理视频以及用户视频需求,所述视频需求包括风格要求和时长要求;
素材推荐模块,用于通过产品识别模块自动识别待处理视频的类别,并结合用户的风格要求和时长要求,推荐对应的分镜数以及对应风格的视频素材供用户选择;
视频生成模块,用于根据用户选取的视频素材以及对视频素材顺序的调整,渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频;以及
反馈模块,用于在生成风格视频后,将收集到的用户调整修改信息,作为反馈信息优化关联模型,并基于用户的最终选择结果,分析用户的喜好,对深度学习框架进行进一步的优化和更新,形成反馈学习模型。
7.根据权利要求6所述的一种基于深度学习的视频风格变换与自动生成系统,其特征在于:所述视频素材按宫格形式展示给用户,且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。
8.根据权利要求6所述的一种基于深度学习的视频风格变换与自动生成系统,其特征在于:所述片段渲染包括片段风格渲染和字幕效果。
9.根据权利要求6所述的一种基于深度学习的视频风格变换与自动生成系统,其特征在于:所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。
10.根据权利要求6所述的一种基于深度学习的视频风格变换与自动生成系统,其特征在于:所述视频风格学习模块具体包括:
用于利用深度学习框架对视频短片训练样本进行深度学习,得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数,通过对视频拍摄主体进行类别分类,将分类结果与风格资源库进行匹配,生成对应主题或标签的关联模型,基于所述关联模型,将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联;根据不同风格视频中素材的选取与搭配,建立视频片段风格素材资源库,并与资源库里的素材进行映射,用于按照类别与风格进行视频素材推荐。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门大学,未经厦门大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810812471.0/1.html,转载请声明来源钻瓜专利网。