[发明专利]跨模态知识蒸馏的方法、系统、电子装置和存储介质

权利要求书

1.一种跨模态知识蒸馏的方法，其特征在于，包括：

渲染CAD模型或从不同视角在点云上进行透视投影，获得点云对应的3D图像的多个视图的辅助图像；

将所有的所述辅助图像输入到图像网络中，获得3D图像的全局特征；

在点云和所述全局特征之间进行特征增强和分类器增强，将所述3D图像的图像特征蒸馏至点云。

2.根据权利要求1所述的跨模态知识蒸馏的方法，其特征在于，

所述获得3D图像的全局图像特征包括：

将所有的不同视角的图像放进一个卷积网络中进行特征提取，获得一些特征向量；

将所有所述特征向量通过一个聚合函数生成一个全局特征，所述全局特征包含了多视角图像中的形状信息。

3.根据权利要求1所述的跨模态知识蒸馏的方法，其特征在于，

所述将所述3D图像的图像特征蒸馏至点云包括：

将所述全局特征映射到欧式空间，并使用EMD距离监督所述映射的过程；

通过所述全局特征在所述欧式空间内重构点云。

4.根据权利要求1所述的跨模态知识蒸馏的方法，其特征在于，

所述在点云和所述全局特征之间进行特征增强和分类器增强包括：

优化分类损失、优化特征增强损失和优化分类器增强损失；

对优化后的分类损失、特征增强损失和分类器增强损失分配权重，获得最终损失函数。

5.根据权利要求4所述的跨模态知识蒸馏的方法，其特征在于，

所述优化分类损失的方法包括：

使用点编码器和分类器设计点云分析模型；

点编码器生成点云特征，并将所述点云特征输入分类器来获取一个分类网络；

将所述分类网络的交叉熵损失作为分类的损失函数。

6.根据权利要求4所述的跨模态知识蒸馏的方法，其特征在于，

所述优化特征增强损失方法的表达公式为：

其中，L_Feature为特征增强损失，表示和的EMD距离，ρ为点云中的任意一个点，为点云特征通过解码器生成的点云，为图片特征通过解码器生成的点云，和具有相同大小，φ：是双射的关系。

7.根据权利要求5所述的跨模态知识蒸馏的方法，其特征在于，

所述优化分类器增强损失方法的表达公式为：

L_Classifier＝D_KL(Cls^pts(F^img)||Cls^pts(F^pts))

其中，F^img为所述全局特征，F^pts为点云特征，Cls^pts(*)为分类器，D_KL(*)表示两个分布的KL散度。

8.一种跨模态知识蒸馏的系统，其特征在于，包括：

辅助图像获取模块，用于渲染CAD模型或从不同视角在点云上进行透视投影，获得点云对应的3D图像的多个视图的辅助图像；

全局特征获取模块，将所有的所述辅助图像输入到图像网络中，获得3D图像的全局特征；

特征蒸馏模块，用于在点云和所述全局特征之间进行特征增强和分类器增强，将所述3D图像的图像特征蒸馏至点云。

9.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法。