[发明专利]图像处理方法、视频处理方法、装置、设备和存储介质

说明书

本发明实施例公开了一种图像处理方法、视频处理方法、装置、设备和存储介质，图像处理方法包括：从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；根据人眼关键点和预设眼球数据生成初始眼球渲染图像；根据人眼关键点确定眼白区域；基于眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；根据人眼蒙版对目标眼球渲染图像和初始图像进行混合获得目标图像。本发明实施例通过眼球旋转方向和纹理等眼球数据生成初始眼球渲染图像，并进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量各种样式的眼球图像，又使得眼球图像自然地融入视频图像中，从而获得理想的眼睛编辑效果，使得视频人脸具有丰富的人脸表情。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、视频处理方法、装置、设备和存储介质。

背景技术

随着短视频、直播等应用的普及，在视频中对视频人脸进行编辑来表达人脸表情变为一个热点，而对眼球的转动、瞳孔颜色的改变是人脸表情编辑中必不可少的环节。

目前，对眼睛的编辑是采用虚拟眼球对眼睛进行模拟，利用虚拟眼球可方便地控制眼球的转动方向，并通过改变虚拟眼球的纹理来实现瞳孔颜色等眼球风格的编辑。然而，在一个视频中，各个视频帧的背景存在差异，为了使得虚拟眼球自然地融入各个背景视频中，设计者需要采集大量不同角度、不同眼球旋转方向以及不同瞳孔颜色的虚拟眼球，以在大量的虚拟眼球中匹配出与背景视频能够自然融合的虚拟眼球。

发明内容

本发明实施例提供一种图像处理方法、视频处理方法、装置、设备和存储介质，以解决现有技术中需要收集大量眼球数据来对眼睛进行编辑的问题。

第一方面，本发明实施例提供了一种图像处理方法，包括：

从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；

根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；

根据所述人眼关键点确定眼白区域；

基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；

根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像。

第二方面，本发明实施例提供了一种视频处理方法，包括：

获取待处理视频数据；

从每帧视频数据中提取包含脸部的初始图像；

获取用于对所述初始图像进行图像处理的眼球数据；

根据所述眼球数据和预设图像处理方法对所述初始视频图像进行图像处理获得目标图像；

采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据；

其中，所述图像处理方法为本发明任一实施例所述的图像处理方法。

第三方面，本发明实施例提供了一种图像处理装置，包括：

人眼关键点和蒙版提取模块，用于从包含脸部的图像中提取人眼关键点和生成人眼蒙版；

初始眼球渲染图像生成模块，用于根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；

眼白区域确定模块，用于根据所述人眼关键点确定眼白区域；

色彩校正模块，用于基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得校正后的目标眼球渲染图像；

眼球混合模块，用于根据所述人眼蒙版对所述目标眼球渲染图像和所述图像进行混合获得目标图像。

第四方面，本发明实施例提供了一种视频处理装置，包括：