[发明专利]基于深度神经网络和稀疏自编码器的三维关键点检测方法

摘要

本发明属于三维计算机视觉技术领域，具体涉及一种基于深度神经网络和稀疏自编码器的三维关键点检测方法。该方法包括训练稀疏自编码器和深度神经网络阶段与利用训练好的深度神经网络作为回归模型检测三维关键点阶段。三维网格模型在多尺度空间中的局部和全局信息被充分利用来检测待测点是否是关键点。引入多层稀疏自编码器可以有效地发现这些局部和全局信息之间的相关性并形成这些信息的高级特征表示形式，以便对其进行回归。最终能够有效地、鲁棒地和稳定地检测出三维网格模型中的关键点。

主权项

1.基于深度神经网络和稀疏自编码器的三维关键点检测方法，包括以下步骤：步骤1、从三维网格模型数据库中选取训练集和测试集，并从训练集中选取正负样本点：选取的训练集和测试集互不重叠，且三维网格模型具有由人工标记生成的三维关键点；对于训练集中的每一个三维网格模型，选取全部由人工标记生成的三维关键点为正样本点，其余的为负样本点；步骤2、为正负样本点形成特征属性，构建特征属性集：利用三维网格模型在多尺度空间中的局部信息和全局信息来形成样本点的特征属性；所述局部信息包含三部分：1)被测点的周围邻域点到被测点切平面的欧式距离f_d，2)被测点与其周围领域点的法向量之间的夹角f_θ，3)四种曲面曲率f_c：最大主曲率、最小主曲率、高斯曲率和均值曲率；所述全局信息为拉普拉斯光谱信息f_ls；对于三维网格模型M(x,y,z)中的任意一点v，令f为其特征属性，则：f＝[f₀,f₁,f₂,...,f_Ω]^T   (1)f_i＝[f_d,f_θ,f_c,f_ls],i＝0,1,2,...,Ω   (2)其中f_i,i＝0,1,2,...,Ω表示三维网格模型M(x,y,z)在尺度i所对应的特征属性信息，f_i包含f_d、f_θ、f_c和f_ls；三维网格模型M(x,y,z)在尺寸空间中的演化表示为：M_δ(x,y,z)＝M(x,y,z)*G(x,y,z,δ)   (3)其中δ∈{0,ε,2ε,...,Ωε}为三维高斯滤波器的标准差，ε为完全包围三维网格模型的最小立方体的主对角线长度的0.3％，δ＝0表示该演化模型为初始三维网格模型M(x,y,z)，*是卷积运算符；三维网格模型由一系列点和其连接关系所构成，对三维网格模型中的任意一点v，令V_k(v),k＝1,2,3,4,5为其周围的k‑环邻域点，n为其法向量；令v_kj为V_k(v)中的第j个点，n_kj为其法向量，则点v_kj到点v所对应的切平面的欧式距离d_kj为：点v_kj与点v法向量之间的夹角为：其中，(x_v,y_v,z_v)为点v的坐标，(x_kj,y_kj,z_kj)为点v_kj的坐标；令其中N_k为V_k(v)中点的个数，则f_d和f_θ为：f_d＝[max(d_k),min(d_k),max(d_k)‑min(d_k),mean(d_k),var(d_k),harmmean(d_k)]  (7)f_θ＝[max(θ_k),min(θ_k),max(θ_k)‑min(θ_k),mean(θ_k),var(θ_k),harmmean(θ_k)]  (8)其中，mean(·)、var(·)和harmmean(·)分别表示算术平均、方差和调和平均；f_c由四种曲率构成：其中c₁为最小主曲率、c₂为最大主曲率，(c₁+c₂)/2为均值曲率，c₁c₂为高斯曲率；三维网格模型的拉普拉斯矩阵是一个对称矩阵并且可以分解为：L＝BΛB^T   (10)其中Λ＝Diag{λ_f,1≤f≤Ψ}是一个对角矩阵且里面的元素是按照升序排列，λ_f是三维网格模型的拉普拉斯矩阵的特征值；正交矩阵B的列向量为相应的特征矢量，Ψ为三维网格模型中点的总数，拉普拉斯光谱定义为：H(f)＝{λ_f,1≤f≤Ψ}  (11)采用对数‑拉普拉斯光谱获取全局信息，对数‑拉普拉斯光谱L(f)定义为：L(f)＝log(H(f))  (12)光谱的不规则性R(f)被用来获取网格显著性：R(f)＝|L(f)‑J_Γ(f)*L(f)|  (13)其中，是一个1×Γ的矢量，通过如下公式：把光谱的不规则性从光谱域转换到实域，其中R₁＝Diag{exp(R(f)):1≤f≤Ψ}为对角矩阵，为Hadamard积，W为权值矩阵，其中令s为S的元素，则：f_ls＝[max(s_k),min(s_k),max(s_k)‑min(s_k),mean(s_k),var(s_k),harmmean(s_k)]  (17)步骤3、利用步骤2构建好的特征属性集和对应的标签集，训练稀疏自编码器和深度神经网络：稀疏自编码器是自编码器的一个变体，通过在自编码器的隐层部分添加稀疏性限制而得到；首先训练三个稀疏自编码器，然后把这三个稀疏自编码器的编码部分提取出来级联在一起，形成一个深度稀疏自编码器，然后训练一层逻辑回归层来处理深度稀疏自编码器编码后输出的特征；深度神经网络回归模型由深度稀疏自编码器和上述逻辑回归层级联构成；最后应用反向传播算法作用于深度神经网络回归模型实现精调的效果；步骤4、利用步骤3得到的深度神经网络回归模型对三维网格模型进行预测并得到相应的显著性响应图：采用步骤2中同样的方法对测试集中三维网格模型的每一个点形成特征属性，并用步骤3得到的深度神经网络回归模型对该点进行预测，得到一个回归值；再得到三维网格模型中所有点的回归值，以其构成该三维网格模型的显著性响应图；步骤5、根据步骤4得到的显著性响应图得到三维关键点：选取显著性响应图中具有局部极大值的点作为三维关键点；对于三维网格模型中的每一个点，如果该点的显著性响应值比其周围5‑环邻域内点的显著性响应值都大，则该点为三维关键点；否则，该点就不是三维关键点。