[发明专利]基于计算机视觉的牙齿正畸方法、装置、设备及存储介质

权利要求书

1.一种基于计算机视觉的牙齿正畸方法，其特征在于，包括步骤：

S1、接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；

S2、基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；

S3、将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；

S4、将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；

S5、对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；

S6、将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。

2.根据权利要求1所述的牙齿正畸方法，其特征在于，所述步骤S2具体包括：

S21、利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；

S22、对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；

S23、基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；

S24、基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。

3.根据权利要求1所述的牙齿正畸方法，其特征在于，所述训练生成牙齿分割模型具体包括：

S31、构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；

S32、对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；

S33、基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。

4.根据权利要求1所述的牙齿正畸方法，其特征在于，所述平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。

5.一种基于计算机视觉的牙齿正畸装置，其特征在于，包括：

位姿信息估计模块，用于接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；

稠密点云生成模块，用于基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；

牙齿提取模块，用于将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；

牙齿点云模型生成模块，用于将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；

优化模块，用于对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；

配准模块，用于将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。

6.根据权利要求5所述的牙齿正畸系统，其特征在于，所述稠密点云生成模块具体包括：

特征提取与匹配模块，用于利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；

稀疏点云构建模块，用于对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；

深度图计算模块，用于基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；

稠密点云构建模块，用于基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。