[发明专利]一种三维人体模型生成方法、装置、电子设备及存储介质

权利要求书

1.一种三维人体模型生成方法，其特征在于，包括：

获取在多个视角中拍摄的待检测图像；

检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；

利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；

利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。

2.根据权利要求1所述的三维人体模型生成方法，其特征在于，所述检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组，包括：

在所述待检测图像中执行人体检测操作，得到所述待检测图像包含的人体区域；

在所述人体区域中执行人体骨骼关键点检测，得到所述人体区域包含的骨骼关键点数据组。

3.根据权利要求2所述的三维人体模型生成方法，其特征在于，在所述人体区域中执行人体骨骼关键点检测之前，还包括：

将所述人体区域输入空间变换网络进行修正计算，得到修正后的人体区域；

利用修正后的人体区域执行所述在所述人体区域中执行人体骨骼关键点检测的步骤。

4.根据权利要求1所述的三维人体模型生成方法，其特征在于，所述利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，包括：

计算所述人体区域之间的外观相似度，并利用所述外观相似度构建所述待检测图像之间的外观亲和性矩阵；

利用所述骨骼关键点数据组计算所述人体区域之间的几何相似度，并利用所述几何相似度构建所述待检测图像之间的几何亲和性矩阵；

利用所述外观亲和性矩阵及所述几何亲和性矩阵，构建所述待检测图像之间的融合亲和性矩阵。

5.根据权利要求1所述的三维人体模型生成方法，其特征在于，当所述视角的数量为两个时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：

创建所述待检测图像之间的初始置换矩阵，并计算所述初始置换矩阵与所述融合亲和性矩阵的内积；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；

调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述内积最大；

将所述内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。

6.根据权利要求1所述的三维人体模型生成方法，其特征在于，当所述视角的数量为三个及三个以上时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：

创建所述待检测图像之间的初始置换矩阵；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；

计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积；

将所述内积及所述低秩项输入目标函数，得到所述目标函数的输出值；

调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述输出值最小；

将所述输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。

7.根据权利要求1至6任一项所述的三维人体模型生成方法，其特征在于，所述利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型，包括：

利用确定所述匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，所述初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；

利用所述初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；

对所述三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的所述三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至所述后验分布数据最大；

利用所述后验分布数据最大时的初始三维人体姿态生成所述三维人体模型。