[发明专利]用于将患者的牙列的三维模型与患者的面部图像对准的方法

权利要求书

1.一种用于在由照相机记录的后续图像的视频序列中患者的每个面部图像中可视化从牙齿状况的三维模型获得的二维图像的计算机实现的方法，每个图像包括所述患者的嘴部开口，其中，所述牙齿状况的三维模型基于所述患者的牙列的三维模型，并且与所述牙列的三维模型相比包括因牙齿治疗或任何其他牙齿修改引起的修改，所述方法包括为所述视频序列的每个图像执行以下步骤：

通过执行以下步骤将所述患者的牙列的三维模型与由照相机(3)记录的所述患者的面部图像对准：

估计在记录图像期间所述照相机(3)相对于所述患者的面部的定位，以及

获取所述患者的牙列的三维模型(6)，

使用虚拟照相机(8)在估计定位处处理所述牙列的三维模型来渲染所述患者的牙列的二维图像(7)，

通过在相应的图像中执行边缘检测和/或基于颜色的牙齿似然性确定，并形成针对所述检测到的特征或每个检测到的特征的检测到的特征图像，在由所述照相机(3)记录的所述患者的图像(1)的嘴部开口中的牙列区域中以及在渲染的图像(7)中的牙列区域中执行特征检测，

分析所述面部图像以检测围绕所述嘴部开口的唇线，以及仅选择所述唇线内侧的图形元素以用于确定由所述照相机记录的图像中的偏差的度量，其中，所述唇线也覆盖在从所述牙列的三维模型渲染的二维图像中，并且仅在所述唇线内侧的区域用于确定以下步骤中的偏差的度量，

计算由所述照相机(3)拍摄的图像的检测到的特征图像与所述渲染的图像的检测到的特征图像之间的偏差的度量，

将所述虚拟照相机(8)的定位改变为新的估计定位，并在优化过程中重复之前的四个步骤，以最小化偏差度量，以确定所述虚拟照相机(8)的最佳拟合定位；

使用所确定的所述虚拟照相机的最佳拟合定位，使用所述虚拟照相机(8)从所述牙齿状况的三维模型渲染所述牙齿状况的二维图像(7)；

在下述覆盖步骤之前，

从包括在下牙弓和上牙弓之间的区域中的嘴部开口的图像生成所述唇线内的口腔背景图像区域，并且由所述照相机记录的所述患者的面部图像中所述唇线内的图像区域由所生成的口腔背景图像区域代替，以及

将由所述照相机记录的所述患者的面部图像中检测到的唇线传输到并覆盖在所述渲染的图像中，并且排除了所述渲染的图像中所述唇线外侧的所有图形元素，从而切出了对应于所述嘴部开口的所述渲染的图像的区域；

将使用所述虚拟照相机渲染的所述牙齿状况的二维图像覆盖在由所述照相机记录的所述患者的面部图像中；以及

在显示器(2)上显示具有覆盖的所述牙齿状况的渲染的二维图像的由所述照相机拍摄的所述患者的面部图像。

2.根据权利要求1所述的计算机实现的方法，其特征在于，仅通过执行边缘检测来执行所述特征检测。

3.根据权利要求2所述的计算机实现的方法，其特征在于，基于检测到的边缘的平均方向将其划分为水平边缘和垂直边缘。

4.根据权利要求1所述的计算机实现的方法，其特征在于，通过执行边缘检测和基于颜色的牙齿似然性确定来执行特征检测，并且根据检测到的边缘图像和检测到的基于颜色的牙齿似然性图像来计算偏差的组合度量。

5.根据权利要求1所述的计算机实现的方法，其特征在于，仅通过执行基于颜色的牙齿似然性确定来执行所述特征检测。

6.根据前述权利要求中任一项所述的计算机实现的方法，其特征在于，通过形成由所述照相机(3)拍摄的所述患者的面部图像的检测到的特征图像与所述渲染的图像的检测到的特征图像的差值图像，并且通过对所述差值图像的所有图形元素上的所述差值图像的强度的绝对值进行积分，来计算度量偏差。

7.一种用于在由照相机记录的后续图像的视频序列中患者的每个面部图像中可视化从牙齿状况的三维模型数据渲染的所述患者的牙齿状况的二维图像的系统，每个图像包括嘴部开口，所述系统包括：

照相机(3)；

显示器；以及

计算装置(2)，其可操作地连接至所述照相机(3)和所述显示器，并且被配置为执行根据权利要求1所述的方法。