[发明专利]一种基于transformer编码器的牙体点云补全方法及系统

说明书

本发明公开了一种基于transformer编码器的牙体点云补全方法及系统，包括：S1、对不完整牙体点云进行处理，并根据得到的聚类中心和局部特征得到特征矩阵S2、对聚类中心和围绕各关键点的局部特征进行编码，挖掘出用于描述缺失部位牙齿的潜在向量并从潜在向量预测出缺失牙齿的低分辨率点云Y_c；S3、将低分辨率点云Y_c和潜在向量结合构成重构特征从和Y_c恢复出高分辨率点云Y_f，组合Y_c和Y_f得到最终牙体点云Y_pred；S4、通过最小化Y_pred和对应真实缺失牙齿金标准Y_gt之间的切夫距离，完成牙体补全网络的训练；S5、对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。通过广泛的实验证明了本方法的有效性，并应用在了不完整牙体的点云补全上。

技术领域

本发明涉及医学图像处理技术，具体地，涉及一种基于transformer编码器的牙体点云补全方法及系统。

背景技术

口腔健康越来越受到关注，同时人们对于专业、高质量的牙科护理的需求也越来越高，在这一需求下，口腔内扫描仪(IOS)获取的高精度3D牙科模型在CAD口腔诊断中发挥着重要作用。此外，使用以深度神经网络为代表的人工智能技术对牙科模型进行处理、解决牙科问题逐渐成为了数字医疗诊断的主流方法。在口腔医学领域，缺牙补全是一个重要问题，我们需要预测出病人缺失的牙齿，补全牙体以便于后续临床应用，本文所述方法借助深度神经网络的强大学习能力来解决上述问题。

3D模型有多种表现形式，其中点云是最简单的表征。但是点云的无序性、关联性、置换不变性这些性质给神经网络的困难带来了困难，在PointNet和PointNet++使用深度神经网络实现了点云分割和点云分类之后，点云深度学习逐渐成为了一个热门研究领域，同时在数字医疗领域的应用也越来越广泛。点云补全(Point Cloud Completion)技术应运而生，它从不完整牙体点云数据出发估计完整点云，达到补全的目的。

传统的点云补全方法往往基于点云中可以提取出的结构先验信息，如对称性信息或者语义信息，通过此先验信息设计算法对不完整牙体点云进行补全。但是这样的方法只能处理缺失率很低并且结构特征显著的不完整牙体点云。随着研究人员的深入，用于点云分析和生成的深度学习方法也逐渐涌现，已经有诸如PCN、GRNet、PF-Net等一系列优秀框架。这些点云补全方法以不完整牙体点云作为输入，基于深度神经网络学习点云中的结构信息，得到完整的点云作为输出，可以有效解决由于离散化表示导致的内存占用高和点云伪影问题。同时，由于点云的无序性和置换不变性，传统的卷积操作无法直接在点云上应用，深度神经网络的设计仍然面临很大挑战。比如，现有的点云补全框架太过于关注点云的整体特征而忽视了点云内部的局部几何信息，导致这些框架补全后的完整点云偏向于某个相似形状，无法体现个体的特征，直接应用在牙体点云数据集上会丢失很多牙齿细节，从而不具备临床意义。

发明内容

发明目的：本发明的一个目的是提供一种基于transformer编码器的牙体点云补全方法，在关注点云全局特征的同时最大程度地确保补全牙齿的细节。

本发明的另一个目的是提供一种基于transformer编码器的牙体点云补全系统。

技术方案：本发明的一种基于transformer编码器的牙体点云补全方法，包括以下步骤：

S1、使用动态图卷积神经网络DGCNN对统一尺度后的牙体点云数据集处理，得到聚类中心并提取出中关键点的局部特征并根据聚类中心和局部特征得到特征矩阵

S2、利用transformer编码器对聚类中心和围绕各关键点的局部特征进行编码，挖掘出用于描述缺失部位牙齿的潜在向量，使用一个多层感知机MLP从潜在向量预测出缺失牙齿的低分辨率点云Y_c；