[发明专利]一种视频处理模型构建方法及系统在审
申请号: | 202310126770.X | 申请日: | 2023-02-06 |
公开(公告)号: | CN116109890A | 公开(公告)日: | 2023-05-12 |
发明(设计)人: | 曹瑞;倪亚宇 | 申请(专利权)人: | 湖南国科微电子股份有限公司 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V20/40 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 郭庆玲 |
地址: | 410131 湖南省长沙市*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 处理 模型 构建 方法 系统 | ||
本申请公开了一种视频处理模型构建方法及系统,方法包括:获取真实静态视频数据、仿真动态视频数据、动态RAW域视频数据;根据真实静态视频数据和仿真动态视频数据对预设初始网络模型进行训练,得到第一网络模型和第二网络模型;根据动态RAW域视频数据和第二网络模型得到真实动态视频数据;根据真实静态视频数据和真实动态视频数据对第一网络模型进行蒸馏训练,得到目标网络模型,通过包括仿真动态视频数据的训练数据对预设初始网络模型进行训练,使训练后得到的第一网络模型对动态视频数据的去噪效果好,再通过包括真实动态视频数据的训练数据对第一网络模型进行蒸馏训练,能够进一步提升训练后得到的目标网络模型对动态视频数据的去噪效果。
技术领域
本申请涉及视频处理技术领域,特别是涉及一种视频处理模型构建方法及系统。
背景技术
RAW域视频,是通过相机等终端设备将光源信号转化为数字信号的原始视频,终端设备的视频采集受限于终端设备光学传感器的硬件性能,由于采集过程的不完善,原始视频的形成总是受到不同形式的噪声的影响,常常需要对原始视频进行去噪处理。
对于视频去噪,一般采用“多帧叠加取平均”的方式构造静态视频数据,做为模型的训练数据,对初始网络模型进行训练得到目标网络模型,但由于模型的训练数据中只涉及静态视频数据而缺少动态视频数据,使得通过静态视频数据训练得到的目标网络模型,对动态视频数据进行去噪的效果并不好。
发明内容
有鉴于此,本申请提供了一种视频处理模型构建方法及系统,本申请提供的视频处理模型构建方法及系统,通过包括仿真动态视频数据的训练数据对预设初始网络模型进行训练,使得训练后得到的第一网络模型对动态视频数据的去噪效果好,再通过包括真实动态视频数据的训练数据对第一网络模型进行蒸馏训练,能够进一步提升蒸馏训练后得到的目标网络模型对动态视频数据的去噪效果。
本申请提供一种视频处理模型构建方法,包括:
获取真实静态视频数据;
获取仿真动态视频数据;
获取动态RAW域视频数据;
根据所述真实静态视频数据和所述仿真动态视频数据,对预设初始网络模型进行训练,得到第一网络模型和第二网络模型;
根据所述动态RAW域视频数据和所述第二网络模型,得到真实动态视频数据;
根据所述真实静态视频数据和所述真实动态视频数据,对所述第一网络模型进行蒸馏训练,得到目标网络模型。
优选地,所述第二网络模型的参数量大于所述第一网络模型的参数量。
优选地,所述根据所述真实静态视频数据和所述仿真动态视频数据,对预设初始网络模型进行训练,得到第一网络模型和第二网络模型,包括:
对所述真实静态视频数据和所述仿真动态视频数据进行混合处理,得到第一训练视频数据;
根据所述第一训练视频数据,通过循环递归的方式对预设初始网络模型进行训练,得到第一网络模型和第二网络模型。
优选地,所述根据所述动态RAW域视频数据和所述第二网络模型,得到真实动态视频数据,包括:
将所述动态RAW域视频数据输入所述第二网络模型进行前向推理,得到标签;
根据所述动态RAW域视频数据和所述标签,得到真实动态视频数据。
优选地,所述根据所述真实静态视频数据和所述真实动态视频数据,对所述第一网络模型进行蒸馏训练,得到目标网络模型,包括:
对所述真实静态视频数据和所述真实动态视频数据进行混合处理,得到第二训练视频数据;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南国科微电子股份有限公司,未经湖南国科微电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310126770.X/2.html,转载请声明来源钻瓜专利网。