[发明专利]图像处理方法、装置、介质及电子设备

说明书

本申请属于人工智能技术领域，具体涉及一种图像处理方法、图像处理装置、计算机可读介质以及电子设备。该图像处理方法包括：接收由编码端传输的视频片段的图像编码数据；对所述图像编码数据进行解码处理，得到第一视频帧、第一视频帧中的关键点以及第二视频帧中的关键点，所述关键点用于表示目标对象在视频帧中的运动姿态；根据所述第一视频帧中的关键点以及所述第二视频帧中的关键点，生成所述目标对象的运动姿态的变换信息；根据所述第一视频帧和所述变换信息生成所述第二视频帧的重构图像。

技术领域

本申请属于人工智能技术领域，具体涉及一种图像处理方法、图像处理装置、计算机可读介质以及电子设备。

背景技术

在进行视频编码传输时，一般会以精准的像素点绘制的方式，采用基于预测编码的技术，传输像素级别的帧残差信息。尽管随着传统视频编码标准的不断演进，视频压缩性能可以得到提升，但是基于二维像素级的信号压缩方式，存在传输数据信息密度大的问题，很难在保证视频高清质量的前提下取得数量级的码率节省突破。

发明内容

本申请的目的在于提供一种图像处理方法、图像处理装置、计算机可读介质以及电子设备，至少在一定程度上克服相关技术中存在的数据传输量大、传输码率高等技术问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种图像处理方法，包括：接收由编码端传输的视频片段的图像编码数据；对所述图像编码数据进行解码处理，得到第一视频帧、第一视频帧中的关键点以及第二视频帧中的关键点，所述关键点用于表示目标对象在视频帧中的运动姿态；根据所述第一视频帧中的关键点以及所述第二视频帧中的关键点，生成所述目标对象的运动姿态的变换信息；根据所述第一视频帧和所述变换信息生成所述第二视频帧的重构图像。

根据本申请实施例的一个方面，提供一种图像处理装置，包括：接收模块，被配置为接收由编码端传输的视频片段的图像编码数据；解码模块，被配置为对所述图像编码数据进行解码处理，得到第一视频帧、第一视频帧中的关键点以及第二视频帧中的关键点，所述关键点用于表示目标对象在视频帧中的运动姿态；生成模块，被配置为根据所述第一视频帧中的关键点以及所述第二视频帧中的关键点，生成所述目标对象的运动姿态的变换信息；重构模块，被配置为根据所述第一视频帧和所述变换信息生成所述第二视频帧的重构图像。

在本申请的一些实施例中，基于以上技术方案，所述目标对象的运动姿态的变换信息包括所述第一视频帧与所述第二视频帧之间的运动场；生成模块被配置为：在所述第一视频帧中的关键点与所述第二视频帧中的关键点之间建立一一对应的关键点映射关系；根据所述关键点映射关系生成各个关键点邻域的仿射变换参数；根据所述仿射变换参数、所述第一视频帧中的关键点以及所述第二视频帧中的关键点，对所述第一视频帧进行光流估计，得到所述第一视频帧与所述第二视频帧之间的运动场。

在本申请的一些实施例中，基于以上技术方案，重构模块被配置为：对所述第一视频帧进行特征提取，得到对应于不同特征深度的多个第一图像特征；根据所述变换信息分别对各个特征深度的第一图像特征进行变换处理，得到对应于不同特征深度的形变特征；对所述第一图像特征进行特征还原，得到对应于不同特征深度的第二图像特征；将对应于相同特征深度的形变特征和第二图像特征进行特征融合，并对融合后的特征进行映射处理，得到所述第二视频帧的重构图像。

在本申请的一些实施例中，基于以上技术方案，重构模块还被配置为：通过具有不同网络尺度的多个输出网络，分别对融合后的特征进行映射处理，得到所述第二视频帧的多个重构图像，所述多个重构图像具有不同的图像分辨率。