[发明专利]一种人体身形姿态匹配方法和装置

说明书

一种人体身形姿态匹配方法和装置，用于RGBD图像的人体身形姿态匹配，包括：通过卷积神经网络对RGBD图像的二维人体掩码和二维关键点信息进行提取；使用RGBD图像的深度图提取RGBD图像的深度信息；将二维人体掩码信息和深度信息进行融合获得三维人体掩码信息；将二维关键点信息和深度信息进行融合获得三维关键点信息；将三维人体掩码信息和三维关键点信息与标准库中的信息进行对比以获得人体身形姿态匹配度。在本申请所涉及的方法和装置中，先获得准确的二维关键点信息和二维人体掩码信息，再与深度信息进行融合获得三维关键点信息和三维人体掩码信息，与现有技术相比，增加了精度和准确度。

技术领域

本申请涉及人工智能和模式识别领域，尤其涉及一种身形姿态匹配方法和装置。

背景技术

现有技术中，人体姿态匹配涉及的技术包括：人体定位与检测、图像分割、人体关键点提取(或者姿态估计)、人体姿态匹配等。

其中，人体关键点提取与姿态估计计算机视觉领域中的一个重要问题，是人体动作识别、姿态匹配及人体测量的关键问题。现有技术一般是建立人体模型，将其划分为各个部件，然后通过数字图像处理提取特征进行人体关键点识别并实现姿态估计，随着深度学习的兴起，也涌现出一批以OpenPose,AlphaPose为代表的深度学习方法。现有技术中，传统方法对环境的要求太高，算法复杂，鲁棒性差；深度学习方法则直接从RGBD图像输入获得三维关键点，其精度和准确度都不太高，需要改进和提高。

发明内容

本申请提供一种人体身形姿态匹配方法和装置。

本申请要解决的技术问题通过以下技术方案加以解决：

根据本申请的第一方面，本申请提供一种人体身形姿态匹配方法，用于 RGBD图像的人体身形姿态匹配，包括：通过卷积神经网络对RGBD图像的二维人体掩码和二维关键点信息进行提取；使用RGBD图像的深度图提取RGBD 图像的深度信息；将二维人体掩码信息和深度信息进行融合获得三维人体掩码信息；将二维关键点信息和深度信息进行融合获得三维关键点信息；将三维人体掩码信息和三维关键点信息与标准库中的信息进行对比以获得人体身形姿态匹配度。

进一步地，卷积神经网络包括深度卷积神经网络。

进一步地，将三维人体掩码信息和三维关键点信息与标准库中的信息进行对比以获得人体身形姿态匹配度，包括：对三维人体掩码信息和三维关键点信息进行投影变换以获得归一化三维人体掩码信息和归一化三维关键点信息；对归一化三维人体掩码信息和归一化三维关键点信息进行三维特征提取和表征以获得三维人体掩码特征信息和三维关键点特征信息；将三维人体掩码特征信息和三维关键点特征信息与标准库中的信息进行对比以获得人体身形姿态匹配度。

进一步地，将三维人体掩码特征信息和三维关键点特征信息与所述标准库中的信息进行对比以获得人体身形姿态匹配度，包括：将三维人体掩码特征信息与标准库中的标准三维人体掩码特征信息进行对比以获得人体身形匹配度；将三维关键点特征信息与标准库中的标准关键点特征信息进行对比以获得人体姿态匹配度。

进一步地，将三维人体掩码特征信息和三维关键点特征信息与标准库中的信息进行对比以获得人体身形姿态匹配度，还包括：对人体身形匹配度和人体姿态匹配度进行预设的加权处理以获得人体身形姿态匹配度。

根据本申请的第二方面，本申请提供一种人体身形姿态匹配装置，用于 RGBD图像的人体身形姿态匹配，包括：二维信息提取模块，用于通过卷积神经网络对RGBD图像的二维人体掩码和二维关键点信息进行提取；深度信息提取模块，使用RGBD图像的深度图提取RGBD图像的深度信息；第一融合模块，用于将二维人体掩码信息和深度信息进行融合获得三维人体掩码信息；第二融合模块，用于将二维关键点信息和所述深度信息进行融合获得三维关键点信息；匹配模块，用于将三维人体掩码信息和三维关键点信息与标准库中的信息进行对比以获得人体身形姿态匹配度。