[发明专利]一种三维模型部件的自动检测方法

摘要

本发明公开了一种三维模型部件的自动检测方法，包括离线训练和在线检测两个部分。离线训练时采用带有部件标注的三维模型集作为训练数据，对于数据集中的每个三维模型：在均匀采样的视角下进行光照渲染生成图像，依据部件标注计算每个部件在各个图像中的显著性并筛选出具有较高显著性的部件标注，利用图像和对应的部件标注训练FasterR‑CNN检测模型。在线检测时，对于一个待检测的三维模型：在均匀采样的视角下进行光照渲染生成图像，利用上面训练好的FasterR‑CNN模型检测每张图像中的部件，由检测结果(包围框和标签)为其框中的顶点投票，最后依据投票结果筛选出可能属于各个部件类别的顶点并生成包围盒。

主权项

1.一种三维模型部件的自动检测方法，其特征在于，包括以下步骤：步骤1，离线训练部件检测模型：由带有部件类别标签的三维模型数据集生成各个三维模型在不同视角下的渲染图像集，并对于渲染图像集中每一张图像依据其三维模型的部件类别标签生成对应的部件标注集，图像集和标注集用于训练部件检测模型；步骤2，在线检测三维模型的部件构成：对于待检测的无标注三维模型，使用步骤1中训练的部件检测模型检测其在多个视角下渲染图像中的部件，依据视角信息以及图像部件检测结果计算出待检测的三维模型的部件检测结果；步骤1包括以下步骤：步骤1‑1，视角采样：对带有部件类别标签的三维模型数据集中的每个三维模型，在空间中均匀地生成多个指向其中心的视角方向；步骤1‑2，生成多视角渲染图像：分别在每一个视角方向下对三维模型使用Phong光照模型进行渲染得到图像，由渲染图像组成渲染图像集；步骤1‑3，计算部件显著性：依据三维模型的部件标注计算出各个部件在每个视角下的显著性；步骤1‑4，生成显著部件标注：在每张渲染图像对应的视角下，筛选出显著性较高的部件，作为显著部件标注，标注他们在渲染图像中的位置；步骤1‑5，训练部件检测模型：按照步骤1‑1至步骤1‑4所述过程，为数据集中的每一个三维模型生成两个以上视角下的渲染图像以及与图像对应的显著部件标注，将其作为训练集训练FasterR‑CNN模型，该模型能够检测输入图像中潜在对象的位置与标签；步骤1‑1包括：将视角定义为旋转矩阵，多视角即是旋转矩阵集合R＝{r^ψ,θ|ψ∈Ψ,θ∈Θ}，其中r^ψ,θ代表先绕y轴旋转大小为ψ的yaw角，再绕x轴旋转大小为θ的pitch角，所得到的视角，采用以下公式来计算r^ψ,θ：步骤1‑2包括：对于三维模型S分别在步骤1‑1采样得到的每一个视角方向r^ψ,θ下对三维模型进行光照渲染得到图像I^ψ,θ，构成多视角渲染图像集合I：I＝{I^ψ,θ|ψ∈Ψ,θ∈Θ}；步骤1‑3中，对于三维模型S的每一个部件P_i∈P≡{P₁,P₂,...,P_n}，统计其在每个视角方向r^ψ,θ下渲染图像中的可见区域面积归一化后得到每个部件在各个视角下的显著性其中，P表示三维模型S的部件集合，P_n表示第n个部件，i取值为1～n，ψ和θ分别表示视角的yaw角和pitch角，Ψ和Θ分别表示yaw角的采样集合和pitch角的采样集合，表示部件P_i在视角r^ψ,θ下的可见投影面积，对于特定的yaw角p和pitch角q，表示部件P_i在该视角下可见投影面积，表示部件P_i在所有视角下可见投影面积的最大值；步骤1‑4包括：对于三维模型S，在每个视角方向r^ψ,θ下，记录下每个部件P_i在渲染图像I^ψ,θ中的部件标注是一个5元组，描述了P_i在I^ψ,θ中所处的位置及其部件标签，筛选出显著性大于阈值T₁的标注，构成S的显著部件标注集合L：步骤2包括以下步骤：步骤2‑1，视角采样：对于待检测的三维模型，在空间中均匀地生成多个指向其中心的视角方向；步骤2‑2，生成多视角渲染图像：分别在每一个视角方向下对待检测的三维模型使用Phong光照模型进行渲染得到图像，同时获取待检测的三维模型网格顶点与渲染图像像素之间的对应关系，即对于任意网格顶点都能够判断它是否在渲染图像中出现以及所在像素位置；步骤2‑3，检测渲染图像中的部件：使用步骤1训练的检测模型检测步骤2‑2中得到的每一张渲染图像，获取其中所有部件的位置、标签与置信度，其中部件位置是一个矩形包围框，表示了部件在图像中的位置，部件标签是一个字符串，表示了部件类别，部件置信度是一个0到1范围的小数，是由部件检测模型给出的对于该检测结果的确信程度；步骤2‑4，顶点标签投票：按照检测结果的标签对其包围框中的所有网格顶点进行投票，票数为其置信度，每个部件标签单独计票；步骤2‑5，生成三维检测结果：对于每个部件标签，筛选出得票数大于投票阈值的网格顶点，为其生成一个或两个以上包围盒，包围盒与部件标签共同构成最终的部件检测结果；步骤2‑4中所述对网格顶点投票，计票公式如下：其中，G_c,v表示网格顶点v在类别c下获得的投票数，J^ψ,θ表示视角r^ψ,θ下的渲染图像的检测结果集合，分别表示第i个检测结果的标签、置信度、包围框中的三维模型网格顶点集合；步骤2‑5中采用如下公式计算投票阈值t_c：其中，c表示部件类别，为能量方程，其中T为训练三维模型集合，B_GT(c,S)表示三维模型S的真实结果中属于类别c的部件包围盒集合，B_t(c,S)表示以t为投票阈值对三维模型S进行部件检测的结果中属于类别c的部件包围盒集合，Area(B)表示B中所有包围盒所包围的体积；步骤2‑5中，对于每个部件类别c，利用阈值t_c筛选出属于该类别的顶点集合V_c：其中，V是由三维模型所有网格顶点构成的集合，G_c,i表示顶点i属于类别c的投票得分，利用三维模型网格顶点间的连接关系，将V_c中的每个连通分量都作为一个单独的部件，为其生成包围盒，并带上类别标签c，成为最终的三维模型部件检测结果。