[发明专利]多尺度特征融合的视频去噪方法、系统、设备及存储介质

说明书

本发明提供了一种多尺度特征融合的视频去噪方法、系统、设备及介质，其中，方法包括：对原始视频数据进行加噪处理后形成有噪视频数据；将有噪视频数据输入光流对齐模块获取对齐后的序列帧；将对齐后的序列帧输入多尺度细化模块，多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征；将中间特征输入时空融合模块获取去噪序列帧，通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异，根据差异调整预先设置网络模型的参数，直至网络模型收敛。本发明解决了视频去噪效果无法较好的保留细节纹理特征且难以实时处理的问题。

技术领域

本文件涉及视频去噪技术领域，尤其涉及一种多尺度特征融合的视频去噪方法、系统、设备及存储介质。

背景技术

随着社交设备的不断普及和推广，视频应用得以发展和流行，然而由于传感器内部电路、拍摄环境、光照等内外界的因素影响，视频在获取、传输和存储过程中不可避免的产生许多噪声，影响观看效果，同时影响后续其他任务处理。

传统视频处理方法多数将去噪任务视为图像去噪的简单拓展，忽略视频帧的时间相关性，造成处理出现不断闪烁、伪影和引入新的噪声等问题。近年来，基于深度学习的视频去噪取得了较好的效果，根据其序列帧对齐方式不同，主要分为三种：基于非局部自相似特征去噪；基于显式和隐式对齐的去噪。其中基于非局部自相似特征是指利用图像和序列的非局部自相似特征，例如VNLnet中通过在图像或者序列间搜索相似的图像块进行组合，对同组图像块利用网络实现噪声和真实图像之间的映射实现局部去噪，最终形成整个图像或者序列去噪结果。基于显式对齐则是利用光流实现运动估计和补偿，例如DVDnet中利用相邻帧的通过光流计算运动估计和实现运动补偿，然后将对齐后的特征送入时空融合去噪块实现全局去噪。基于隐式对齐则是通过隐式建模的方法，学习输入噪声序列间的偏移量进行隐式的估计或者建模，然后学习真实图像和噪声图像之间的映射，最后输出去噪的结果。例如FastDVDnet通过U-net隐式建模的能力，在解决帧错位问题同时，利用两阶段架构快速的学习了两者之间的映射关系，实现了快速处理。EDVR通过可形变卷积计算相邻帧之间的偏移量，然后反向变形得到对齐帧后再进行时空融合去噪和重建操作，得到了更好的性能。

但目前基于深度学习的方法却仍存在一些问题：基于非局部自相似性依赖于精确的帧对齐后才能准确搜索高度匹配的图像块，如果只是加大搜索图像块的数量或者大小，必然增加昂贵的计算成本。基于显式帧对齐即通过光流计算，在处理过程中，第一步一般即对齐处理，然而输入的数据本身含有噪声，图像的细节特征容易受噪声影响，在对齐时被移除或者造成伪影现象，同时，光流计算的约束条件严格，针对大运动场景无法精确对齐。虽然隐式建模实现帧对齐的方法众多，但是多数结构对细节特征不敏感，例如U-net在提取和融合阶段很容易受噪声影响，忽略细节特征，在融合阶段无法更换恢复纹理细节。此外，隐式建模一般网络结构复杂，例如可形变卷积，双向循环网络等等无法用于在线视频任务。因此，如何充分利用序列时序信息，较好的保留视频序列细节特征，同时实现在线处理是目前亟待解决的问题。

发明内容

本发明提供一种多尺度特征融合的视频去噪方法、系统、设备及存储介质，旨在解决上述问题。

本发明实施例提供了一种多尺度特征融合的视频去噪方法，包括：

S1、视频加噪，获取原始视频数据，对原始视频数据进行加噪处理后形成有噪视频数据；

S2、光流对齐，将有噪视频数据输入预先设置网络模型的光流对齐模块对有噪视频数据进行对齐处理后获取对齐后的序列帧；

S3、获取中间特征，将对齐后的序列帧依次输入预先设置网络模型的多尺度细化模块，多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征；

S4、将中间特征输入预先设置网络模型的时空融合模块，通过时空融合模块获取去噪序列帧，其中时空融合模块引入非局部的残差融合模块和选择性机制；