[发明专利]图像处理方法、装置、电子设备及存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

识别第一图像中的目标对象的目标区域；

基于所述目标对象对应的目标区域，确定表征所述目标对象姿态的多个关键点分别在所述第一图像中的第一二维位置信息、每个所述关键点相对所述目标对象的参考节点的相对深度、以及所述目标对象的参考节点在相机坐标系中的绝对深度；

基于所述目标对象的所述第一二维位置信息、所述相对深度，确定所述目标对象相对于所述参考节点的三维姿势，并基于所述三维姿势、所述绝对深度、以及相机的内参矩阵进行反投影，确定所述目标对象的多个关键点分别在所述相机坐标系中的三维位置信息；

所述识别所述第一图像中的目标对象的目标区域，包括：

对所述第一图像进行特征提取，得到所述第一图像的特征图；

基于所述特征图，从预先生成的多个候选边界框中，确定多个目标边界框，并基于所述目标边界框，确定所述目标对象对应的目标区域。

2.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述目标边界框，确定所述目标对象对应的目标区域，包括：

基于多个所述目标边界框，以及所述特征图，确定每个所述目标边界框对应的特征子图；

基于多个所述目标边界框分别对应的特征子图进行边界框回归处理，得到所述目标对象对应的目标区域。

3.根据权利要求1或2所述的图像处理方法，其特征在于，基于所述目标对象对应的目标区域，确定所述目标对象的参考节点在相机坐标系中的绝对深度，包括：

基于所述目标对象对应的目标区域以及所述第一图像，确定所述目标对象对应的目标特征图；

基于所述目标对象对应的目标特征图执行深度识别处理，得到所述目标对象的参考节点的归一化绝对深度；

基于所述归一化绝对深度以及所述相机的参数矩阵，得到所述目标对象的参考节点在所述相机坐标系中的绝对深度。

4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述目标对象对应的目标特征图执行深度识别处理，得到所述目标对象的参考节点的归一化绝对深度，包括：

基于所述第一图像，获取初始深度图像；其中，所述初始深度图像中任一第一像素点的像素值，表征所述第一图像中与所述第一像素点位置对应的第二像素点在所述相机坐标系中的初始深度值；

基于所述目标对象对应的目标特征图，确定与所述目标对象对应的参考节点在所述第一图像中的第二二维位置信息，并基于所述第二二维位置信息、以及所述初始深度图像，确定所述目标对象对应的参考节点的初始深度值；

基于所述目标对象对应的参考节点的初始深度值，以及所述目标对象对应的所述目标特征图，确定所述目标对象的参考节点的归一化绝对深度。

5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述目标对象对应的参考节点的初始深度值，以及所述目标对象对应的所述目标特征图，确定所述目标对象的参考节点的归一化绝对深度，包括：

对所述目标对象对应的目标特征图进行至少一级第一卷积处理，得到所述目标对象的特征向量；

将所述特征向量和所述初始深度值进行拼接，形成拼接向量，并对所述拼接向量进行至少一级第二卷积处理，得到所述初始深度值的修正值；

基于所述初始深度值的修正值、以及所述初始深度值，得到所述归一化绝对深度。

6.根据权利要求1或2所述的图像处理方法，其特征在于，所述图像处理方法应用于预先训练好的神经网络中，所述神经网络包括目标检测网络、关键点检测网络以及深度预测网络三个分支网络；所述神经网络包括的三个分支网络分别用于获得所述目标对象的目标区域、所述目标对象的第一二维位置信息和所述相对深度、以及所述绝对深度。