[发明专利]关键点预测、网络训练、图像处理方法、装置及电子设备

说明书

本发明实施例提供了一种关键点预测、网络训练、图像处理方法、装置及电子设备，其中，所述关键点预测方法包括：采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。本发明实施例中通过第一卷积神经网络扩大了物体类别的关键点预测范围，实现了结合通用物体的关键点位置预测信息和关键点存在预测信息综合判断图像中的通用物体的关键点。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种关键点预测、网络训练、图像处理方法、装置及电子设备。

背景技术

通用物体的关键点预测指对于自然场景中的通用物体(如人体、交通工具、动植物、家具等物体)的关键点(如人的头部、手部、躯干位置；车辆的前窗、轮胎、底盘、后箱位置等)进行预测。通用物体的关键点可用于增强通用物体检测和场景分割等应用的效果。

但是，目前除了对于特定物体如人脸、人体的关键点进行预测外，并没有对于大规模通用物体的关键点进行预测的技术手段。

发明内容

本发明实施例提供了一种关键点预测、网络训练、图像处理方法、装置及电子设备。

根据本发明实施例的第一方面，提供了一种关键点预测方法，包括：采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息。

可选地，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接，其中，所述特征提取层用于提取所述图像的特征信息；所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息；所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息。

可选地，所述第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。

可选地，所述第一卷积神经网络为全卷积神经网络。

可选地，所述第一卷积神经网络的训练，包括：获取所述样本图像，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断所述第一卷积神经网络的迭代损失率是否满足设定条件；若满足，则完成对所述第一卷积神经网络的训练。

可选地，所述第一卷积神经网络的训练，还包括：若不满足，则根据获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。

可选地，所述根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，包括：根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。