[发明专利]一种人机交互方法、装置、电子设备和存储介质

说明书

本发明实施例公开了一种人机交互方法、装置、电子设备和存储介质，人机交互方法，应用在终端中，终端设置有显示屏幕，方法包括：控制显示屏幕进行显示；获取用户眼睛的第一眼部参数和第一光影，其中，第一眼部参数用于表征用户眼睛虹膜的位置，第一光影为显示屏幕在用户眼睛上的光影；获取用户眼睛到显示屏幕的第一观看距离；根据第一观看距离、第一眼部参数和第一光影得到用户眼睛注视在显示屏幕上的注视坐标；根据注视坐标得到用户在显示屏幕上的输入信息。本发明实施例能够通过眼睛来实现交互，无需触控到终端，提高用户的交互体验。

技术领域

本发明涉及人机交互技术领域，特别是涉及一种人机交互方法、装置、电子设备和存储介质。

背景技术

目前手机、平板电脑等智能终端逐渐走入人们的生活，如何进一步提升用户的交互体验成为未来人机交互的研究方向。相关技术中，用户与手机、平板电脑等智能终端之间一般需要通过手指触摸屏幕来实现人机交互，这种人机交互方式依赖于人手，交互形式单一，用户体验差。

发明内容

本发明实施例提供了一种人机交互方法、装置、电子设备和存储介质，能够在通过眼睛来实现交互，无需触控到终端，提高用户的交互体验。

第一方面，本发明实施例提供了一种人机交互方法，应用在终端中，所述终端设置有显示屏幕，所述方法包括：控制所述显示屏幕进行显示；获取用户眼睛的第一眼部参数和第一光影，其中，所述第一眼部参数用于表征用户眼睛虹膜的位置，所述第一光影为所述显示屏幕在用户眼睛上的光影；获取用户眼睛到所述显示屏幕的第一观看距离；根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标；根据所述注视坐标得到用户在所述显示屏幕上的输入信息。

在一些实施例中，所述终端设置有前置摄像头；所述获取用户眼睛的第一眼部参数和第一光影，包括：获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；根据所述脸部图像解析得到第一眼眶位置信息、第一虹膜位置信息和第一光影，其中，所述第一眼眶位置信息用于表征用户眼眶的位置，所述第一虹膜位置信息用于表征用户眼睛虹膜的位置；根据所述第一眼眶位置信息和所述第一虹膜位置信息得到第一眼部参数。

在一些实施例中，所述根据所述脸部图像解析得到第一眼眶位置信息、第一虹膜位置信息和第一光影，包括：基于预设的检测器对所述脸部图像进行人脸眼睛区域检测，得到第一眼眶位置信息；将所述脸部图像转换为灰度图像，并对所述灰度图像进行二值化处理，得到第一预处理图像，根据所述第一预处理图像中矩形或圆形的噪声图像得到第一光影；对所述第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像，并利用圆形的结构元素提取所述第二预处理图像中表征用户眼睛虹膜的圆形区域的位置，得到用户眼睛的第一虹膜位置信息。

在一些实施例中，所述根据所述第一观看距离、所述第一眼部参数和所述第一光影得到用户眼睛注视在所述显示屏幕上的注视坐标，包括：根据所述第一观看距离匹配对应距离下的坐标映射关系表；计算所述第一光影的光影坐标；根据所述第一眼部参数和所述光影坐标，在所述坐标映射关系表中查表得到用户眼睛注视在所述显示屏幕上的注视坐标。

在一些实施例中，所述第一光影的形状为矩形或圆形，所述光影坐标是所述第一光影的几何中心点或平均点。

在一些实施例中，所述方法还包括：在所述显示屏幕上显示样本光标；获取用户眼睛注视所述样本光标时的第二眼部参数和第二光影，其中，所述第二眼部参数用于表征用户眼睛虹膜的位置，所述第二光影为所述显示屏幕或所述样本光标在用户眼睛上的光影；获取用户眼睛注视所述样本光标时到所述显示屏幕的第二观看距离；在所述第二观看距离下，记录所述第二眼部参数和所述第二光影的对应关系，以建立所述样本光标的坐标映射关系表。

在一些实施例中，所述在所述显示屏幕上显示样本光标，包括：将所述显示屏幕均匀划分成多个显示区域；分别在各个所述显示区域上显示样本光标。