[发明专利]基于PointNet网络点云分割及虚拟环境生成方法和装置

权利要求书

1.一种基于PointNet网络点云分割及虚拟环境生成方法，其特征在于，包括：

步骤S1、获取虚拟环境中待处理数据集中的点云；

步骤S2、采用改进的PointNet网络对所述点云进行点云语义分割；

步骤S3、根据语义分割后的点云，在虚拟环境中将物体替换为具有物理属性的虚拟模型，生成包含所有物理属性的虚拟对象；

其中，所述PointNet网络包括：第一T-Net层、第二T-Net层、多个感知机MLP以及特征融合层；所述PointNet网络结构分为特征提取和点云语义分割两个部分；

所述特征提取过程为：通过对点云局部特征的提取实现全局特征提取，具体为：获取n个点云的d维特征，其包含空间坐标值、色彩信息以及点的法线信息；通过不断地对点云的局部特征进行分类和学习，经过最大池化处理获得全局特征的提取；

提取点云局部特征的过程为：获取点云的空间位置信息及点云个数n、维度d后；对点云进行最远点采样，对得到的多个中心点云进行索引，获得其位置信息及点云个数；通过球查询方法以所述中心点云为圆心，对所有点云进行分组，并提取点云局部特征；

提取点云局部特征的过程为：

令χ＝{S:S∈[0，1]，|S|＝n}，f为对于任意的χ→R上的点云特征距离连续函数，对于存在任意一个连续函数h和一个对称函数g(x₁,x₂,x₃,…,x_n)，使得对有|f(S)-γ(MAX{h(x_i)})|＜ε，

其中，x₁,x₂,x₃,…,x_n是S中的全部元素，γ为连续函数，MAX表示进行max pooling操作，即输入n个向量，输出一个每个元素最大的新向量；

连续函数h通过多层感知机MLP进行拟合，γ函数则为激活函数，输入的数字为点云的三维坐标信息(x,y,z)，之后通过MLP将输入的点云从三维转为高维，然后经过最大值对称函数g与γ激活函数的处理，从而提取局部的点云特征；

所述点云语义分割过程为：将所述局部特征与所述全局特征进行拼接，并通过多层的MLP进行降维处理，最终对点云的类别做出预测，从而实现点云的分割；所述点云语义分割包括以下步骤：

步骤21、通过第一T-Net层对待处理数据集中点云进行位置对齐；

步骤22、通过MLP将点云局部特征的维度从3维升到64维；

步骤23、通过第二T-Net层对点云空间进行特征对齐；

步骤24、通过MLP将点云局部特征的维度从64维升至128维，再升为1024维；

步骤25、通过最大值对称函数对点云进行池化处理，获得点云全局特征；

步骤26、通过特征融合层将点云全局特征与点云局部特征进行拼接；

步骤27、通过MLP对拼接后的点云特征进行降维处理，实现点云的语义分割；

在通过MLP对点云局部特征进行升维处理的过程中,通过最大值对称函数实现升维处理的过程，如下式所示：

f({x₁,x₂,x₃,…,x_n})≈g(h(x₁),…,h(x_n))

其中，f表示提取特征的函数，h表示每层MLP的特征提取层，g为最大值对称函数；

对点云进行最远点采样具体为：随机初始化一个点作为最远点，在取得其空间位置坐标后，比较剩余所有点与当前点的欧式距离，取得距离最远的点的坐标及距离，并将距离值存储至距离distance矩阵中，之后将取得的点作为查询点，计算每个剩余点到当前点的距离，并取得最大值，重复此步骤后，直到采样到i个最远点；

所述球查询的方法对点云进行分组具体为：计算经过采样之后确定的S个中心点与所有点之间的欧氏距离L，并设定距离阈值R，选取与中心点距离为R 的球形区域中的点云，若L＜R²,则保留对应的点M，若M的值小于所需的点云数NS，则取最大距离时的点，补充NS-M个点，满足所需的点云个数，之后进行特征提取。