[发明专利]一种基于眼动和深度学习的电动轮椅实现方法

说明书

本发明公开了一种基于眼动和深度学习的电动轮椅实现方法，涉及电动轮椅控制技术领域；包括数据处理系统、安全系统、电动轮椅控制系统。数据处理系统包括图像采集及预处理模块、眼动深度学习模块，图像处理及预处理模块与眼动深度学习模块电连接。安全系统包括超声波阵列、三轴传感器。电动轮椅控制系统包括主控、舵机模块，主控与舵机模块电连接，眼动深度学习模块、超声波阵列、三轴传感器分别与主控电连接。本发明将眼动技术与电动轮椅结合，实现了一种全新的轮椅控制方式，并且采用舵机控制电动轮椅，方便改造现有电动轮椅。为了提高轮椅运行时的安全性，设计了安全系统。

技术领域

本发明属于电动轮椅控制技术领域，具体涉及一种基于眼动和深度学习的电动轮椅实现方法。

背景技术

随着社会的发展和技术的进步，轮椅技术也在不断发展。现在市面上针对不同用户群体有不同种类的轮椅。但是针对渐冻症患者、帕金森患者、高位截瘫患者以及其他疾病导致手不能自由活动的人群，并不能很好的使用普通轮椅或者控制电动轮椅。因此，针对特殊人群使用的轮椅成为研究热点。

眼动控制技术用于人机交互可以将人的双手解放出来去做一些其他重要的事情，同时，该技术可以帮助残疾人实现对设备的控制。可靠的眼动控制技术可以广泛应用在医学、交通、军事等方面。目前获取眼部运动信息主要有两类方法：第一，通过接触式的方法，在使用者太阳穴附近粘贴电极采集眼球左右转动时产生的电信号实现对轮椅的控制。这种方法在实际使用中，每次都需要在使用者头上粘贴电极，影响美观和舒适度并且长期使用电极可能会出现脱落的现象。第二，通过使用非接触式的方法，使用眼动仪获取眼动信息，这种方法虽然在使用上舒适度有所提高，但是成本高。

深度学习是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。传统对眼动图像的处理通常采用模板匹配的方法，通过模板与输入图像特征的匹配程度实现分类功能，这种传统的方法准确率不高，通过深度学习的方法可以自动提取眼动图像特征，实现高效准确的分类。

发明内容

本发明所要解决的技术问题是针对现有技术中对患有渐冻症、帕金森、高位截瘫等疾病的患者无法自主使用电动轮椅的问题，提供一种基于眼动和深度学习的电动轮椅实现方法，该方法由数据处理系统、安全系统、电动轮椅控制系统组成，系统间相互协调工作，最终实现了基于眼动和深度学习的电动轮椅。

本发明的一种基于眼动和深度学习的电动轮椅实现方法，包括数据处理系统、安全系统、电动轮椅控制系统。数据处理系统包括图像采集及预处理模块、眼动深度学习模块，图像处理及预处理模块与眼动深度学习模块电连接。安全系统包括超声波阵列、三轴传感器。电动轮椅控制系统包括主控、舵机模块，主控与舵机模块电连接，眼动深度学习模块、超声波阵列、三轴传感器分别与主控电连接。

作为优选，所述图像采集及预处理模块利用高清摄像头采集使用者人脸区域图像，通过关键点检测方法对采集的图像进行预处理操作，将左右眼区域截取并横向拼接在一起。

作为优选，所述眼动深度学习模块采用ResNet18作为骨干网络提取特征，通过全连接层得到所需的三分类结果，结果中概率最高的作为最终预测的结果。在训练网络阶段，损失函数采用交叉熵，其公式为：

式中N为每批输入样本个数，C为当前类别，M为类别总数，y_ic表示第C个类别第i个样本，p_ic表示第C个类别中第i个样本的概率。

作为优选，所述超声波阵列通过在轮椅的前后左右分别放置一个超声波传感器获取轮椅与四周的距离信息。

作为优选，所述电动轮椅控制系统利用主控处理眼动深度学习模块、传感器阵列、三轴传感器的数据，将处理后的结果通过舵机模块实现对轮椅的控制。舵机模块通过固定在电动轮椅控制器上的两个舵机分别实现对控制器上的摇杆进行前后和左右的控制，通过两个舵机的不同旋转角度的组合实现对电动轮椅任意方向移动的控制。