[发明专利]基于深度相机的眼控辅助输入方法在审
| 申请号： | 201910996250.8 | 申请日： | 2019-10-18 |
| 公开（公告）号： | CN110794963A | 公开（公告）日： | 2020-02-14 |
| 发明（设计）人： | 李天军;宋红伟;杨敏玲;陈胜勇 | 申请（专利权）人： | 天津理工大学 |
| 主分类号： | G06F3/01 | 分类号： | G06F3/01;G06K9/00 |
| 代理公司： | 11465 北京慕达星云知识产权代理事务所(特殊普通合伙) | 代理人： | 曹鹏飞 |
| 地址： | 300384 *** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于深度相机的眼控辅助输入方法，该方法可以根据人的眼球以及眼部特征确定视线的方向以及视线与屏幕注视点的坐标，得到用户所要输入的内容，能够在眼睛注视选择的过程中就选中需要的字词，直接敲击空格键便可以实现录入，这样省去了鼠标的移动选择或者数字键的点击，提升了用户使用的便捷程度，提高了人机交互的友好程度。 | ||
| 搜索关键词： | 视线 辅助输入 人机交互 深度相机 眼部特征 眼睛注视 移动选择 用户使用 空格键 数字键 注视点 敲击 眼球 录入 选中 鼠标 屏幕 | ||
【主权项】：
1.一种基于深度相机的眼控辅助输入方法，其特征在于，包括：/n将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；/n使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；/n在人脸区域中使用级联分类器与Haar-likee特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；/n在人眼区域中使用星射线法确定瞳孔中心点坐标；/n从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；/n将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移量；/n利用人脸区域中的特征点，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，获得头部姿态；/n通过多组用户在多种不同姿态下注视多组坐标已知的位置点，分别获取用户的眼动偏移量以及头部姿态与屏幕坐标之间的多组对应数据；将多组对应数据输入训练神经网络，得到网络模型；/n使用训练所得的网络模型，预测注视点的位置坐标；/n将注视点的位置坐标传递给鼠标控制函数，控制鼠标移动到注视点所在位置，敲击空格键实现鼠标左键的点击选择需要的字词。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津理工大学，未经天津理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910996250.8/，转载请声明来源钻瓜专利网。
