[发明专利]基于深度学习的软硬组织特征拓扑识别及面部形变预测方法

说明书

本发明公开了一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，本方法基于深度学习的颌面部骨性及软组织特征标志点自动识别，并利用统计学决策分类方法获取面部多重诊断信息，拓扑预测正颌手术前后面型变化。通过以上研究，自主研发相应面型预测算法及软件并实现临床转化，确立患者正颌手术前后软硬组织变化的相关性。构建深度学习的卷积网络及残差网络，实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。

技术领域

本发明涉及一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法。

背景技术

随着医疗技术的改善，患者希望通过正畸正颌联合设计治疗来建立正确的颅面骨骼和咬合关系。正颌手术前后面型的变化趋势是患者及医师最为关注的临床问题。目前预测牙颌面畸形正颌术后面型变化，即颌骨移动与面部软组织变化的相关性研究限于二维评价体系内，且国内相应计算机软件研发仍属空白。

发明内容

本发明的目的在于提供一种构建深度学习的神经网络实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。

技术方案：

一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，它包括以下步骤：

S1、基于人脸特征点数据，构造卷积网络预测二维图像中特征点，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；

S2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；

S3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑包括以下步骤：

S3-1、多角度环拍正侧面人脸，获得人脸图像；

S3-2、利用图像合成技术合成三维人脸模型；

S3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；

S3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；

S4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的面部拓扑和标准的面部软组织拓扑结构及标准的三维人脸模型；

S5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1；

S6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术前硬组织拓扑；

不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；

S7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；