[发明专利]一种基于三维人脸模型重建的眼睑参数测量方法及系统在审
申请号: | 202310146303.3 | 申请日: | 2023-02-21 |
公开(公告)号: | CN116058785A | 公开(公告)日: | 2023-05-05 |
发明(设计)人: | 雷超宇;孙瀚池;屈明宇;黄靖;陈泽瑜;王骐宇;张可言;谈子铭;宋雪霏;翟广涛;周慧芳 | 申请(专利权)人: | 上海交通大学医学院附属第九人民医院 |
主分类号: | A61B3/10 | 分类号: | A61B3/10;G16H50/20;G06T17/00 |
代理公司: | 上海申汇专利代理有限公司 31001 | 代理人: | 翁若莹;柏子雵 |
地址: | 200011 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 三维 模型 重建 眼睑 参数 测量方法 系统 | ||
1.一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,包括以下步骤:
步骤1、获取患者的二维人脸图片,将二维人脸图片输入映射模型后获得三维人脸数据;
步骤2、利用Mesh-UV展开算法将三维人脸数据映射到二维上,获得每个三维人脸数据点坐标所对应的二维纹理贴图的坐标,从而建立完整的三维人脸模型;
步骤3、基于二维纹理贴图提取关键点,该关键点包括眼睑边缘关键点以及角膜关键点,其中:
利用边缘检测算法从二维纹理贴图上提取眼睑边缘关键点;
提取角膜关键点时,遍历二维纹理贴图上角膜所对应圆周上的所有点,任意三个点经Hough变换后在三维参数空间应对应的一点进行投票,遍历结束后,得票数最高的三维参数空间中的点所确定的圆即为当选圆,基于当选圆提取角膜关键点;
步骤4、基于关键点计算相关眼睑参数。
2.如权利要求1所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,步骤1中,所述映射模型采用Transformer。
3.如权利要求1所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,步骤2中,利用Mesh-UV展开算法将三维人脸数据映射到二维上包括以下步骤:
步骤201、在基于三维人脸数据构建的三维图上创建网格割缝,便于网格能够分割成一块块的圆盘结构;
步骤202、将创建好网格割缝的三维图沿着割缝展开,并且按照原本的拓扑结构,将其平面化;
步骤203、运用线性插值方法将步骤202得到的一块块隔开的贴图之间的空隙补全,得到完整的二维纹理贴图。
4.如权利要求1所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,步骤3中,采用开源dlib库人脸关键点检测模型,获取人脸三维模型中的眼睑边缘关键点。
5.如权利要求1所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,步骤3中,提取角膜关键点时,提取当选圆的圆心点以及上、下圆周点为所需的角膜关键点。
6.如权利要求1所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,所述步骤4包括以下步骤:
步骤401、将获取的关键点由二维纹理贴图坐标映射到三维坐标;
步骤402、遍历所有点的二维纹理贴图坐标,计算当前点的二维纹理贴图坐标与关键点二维纹理贴图坐标的二维距离,取关键点最邻近的点的三维坐标作为关键点映射到三维的坐标;
步骤403、计算与相应眼睑参数相关的两个关键点的三维欧氏距离;
步骤404、将三维欧氏距离转化为实际距离;
步骤405、利用预先确定的放缩比例S计算实际距离所对应的真实尺寸,从而获得了相关眼睑参数。
7.如权利要求6所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,步骤405中,所述放缩比例S采用以下方法确定:
预先在患者的目标部位放置预定大小的标签,获得放置有标签的患者人脸图像,根据患者人脸图像中标签所对应的像素大小与标签实际大小的比例确定所述放缩比例S。
8.如权利要求7所述的一种基于三维人脸模型重建的眼睑参数测量方法,其特征在于,所述步骤405包括以下步骤:
步骤4051、获得实际距离所对应的像素值;
步骤4052、利用步骤4051获得的像素值以及预先确定的放缩比例S计算实际距离所对应的真实尺寸,从而获得了相关眼睑参数。
9.一种基于三维人脸模型重建的眼睑参数测量系统,其特征在于,包括:
映射模型,将患者的二维人脸图片输入映射模型后获得三维人脸数据;
三维人脸模型建立模块,采用Mesh-UV展开算法将三维人脸数据映射到二维上,获得每个三维人脸数据点坐标所对应的二维纹理贴图的坐标,从而建立完整的三维人脸模型;
关键点提取模块,用于基于二维纹理贴图提取关键点,该关键点包括眼睑边缘关键点以及角膜关键点,进一步包括
眼睑边缘关键点提取单元,利用边缘检测算法从二维纹理贴图上提取眼睑边缘关键点;
角膜关键点提取单元:遍历二维纹理贴图上角膜所对应圆周上的所有点,任意三个点经Hough变换后在三维参数空间应对应的一点进行投票,遍历结束后,得票数最高的三维参数空间中的点所确定的圆即为当选圆,基于当选圆提取角膜关键点;
眼睑参数计算模块,用于基于关键点计算相关眼睑参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学医学院附属第九人民医院,未经上海交通大学医学院附属第九人民医院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310146303.3/1.html,转载请声明来源钻瓜专利网。