[发明专利]眼神调节方法、装置及存储介质

说明书

本申请涉及一种眼神调节方法、装置及存储介质，属于图像处理技术领域，该方法包括：获取包括目标眼部图像的目标图像；获取眼神调节网络；基于目标眼部图像和眼神调节网络得到调节后的眼部图像，目标眼部图像的眼神角度相对于调节后的眼部图像中眼神角度的眼神角度之差为期望调节角度；可以解决通过改变硬件设备使得用户同时观看屏幕和摄像头，导致眼神矫正效率较低的问题；由于眼神调节网络可以基于期望调节角度生成编码图像、基于目标眼部图像和编码图像生成校正后的眼部图像，对校正后的眼部图像进行像素位置调节和颜色调节；因此可以实现基于眼神调节网络对眼部图像的眼神调节，无需改变硬件设备，可以提高眼神矫正效率。

技术领域

本申请涉及一种眼神调节方法、装置及存储介质，属于图像处理技术领域。

背景技术

视频会议系统(又称会议电视系统)是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现远程会议的系统。

现有的视频会议系统，摄像头一般设置于显示屏的上方或下方位置。这样，用户在观看显示屏的同时，摄像头能够不受显示屏的阻挡，而拍摄到用户。但是摄像头位于显示屏的上方或者下方，而用户视线是直视显示屏，摄像机采集得到的眼部图像效果是眼神上扬或下撇的状态，另一端与会人员观看到的图像是不存在眼神交互的图像。

为了提高视频会议效果，通常需要对与会人员的眼神进行校正。在一种典型的校正方法中，通过使用专门的硬件设备使得用户同时观看屏幕和摄像头。

但是，专门的硬件设备需要对已有的视频会议系统进行改造，眼神校正效率较低。

发明内容

本申请提供了一种眼神调节方法、装置及存储介质，可以解决通过改变硬件设备使得用户同时观看屏幕和摄像头，导致眼神矫正效率较低的问题。本申请提供如下技术方案：

第一方面，提供了一种眼神调节方法，所述方法包括：

获取包括目标眼部图像的目标图像；

获取眼神调节网络，所述眼神调节网络包括第一网络模型、与所述第一网络模型相连的第二网络模型、以及与所述第二网络模型相连的第三网络模型；所述第一网络模型用于基于输入的期望调节角度生成具有所述期望调节角度的编码图像，所述第二网络模型用于基于输入的图像和所述编码图像生成对输入的图像进行校正得到的校正后的眼部图像，所述第三网络模型用于对所述校正后的眼部图像进行像素位置调节和颜色调节；

基于所述目标眼部图像和所述眼神调节网络得到调节后的眼部图像，所述目标眼部图像的眼神角度相对于所述调节后的眼部图像中眼神角度的眼神角度之差为所述期望调节角度。

可选地，所述获取眼神调节网络之前，包括：

获取多个样本图像，所述多个样本图像包括具有各个眼神角度的图像；

获取损失函数；

使用所述多个样本图像和所述损失函数对预设网络模型进行训练，得到所述眼神调节网络。

可选地，所述使用所述多个样本图像和所述损失函数对预设网络模型进行训练，得到所述眼神调节网络，包括：

对每张样本图像进行眼部关键点检测，得到n个眼部关键点，所述n为正整数；

对于每张样本图像，基于对应的n个眼部关键点中每个眼部关键点的位置确定样本锚框，得到每个关键点对应的样本锚框；

将所述多张样本图像进行两两组合，并确定每组图像组合中眼神角度之差，得到训练集；所述训练集包括多组训练数据，每组训练数据包括基准样本图像、待调节样本图像、所述待调节样本图像对应的样本锚框以及所述待调节样本图像相对于所述基准样本图像的眼神角度之差；