[发明专利]一种带有取物功能的轮椅的取物控制方法

权利要求书

1.一种带有取物功能的轮椅的取物控制方法，所述带有取物功能的轮椅包括电动轮椅(1)，还包括类人机械臂(2)和轮椅控制系统，所述类人机械臂(2)安装在电动轮椅(1)的右前方，所述轮椅控制系统包括供坐在电动轮椅(1)上的残疾人佩戴的眼动仪(5)和安装在电动轮椅(1)座位底部的微型计算机(3)，所述电动轮椅(1)的顶部安装有高度可调的滑杆(4)，所述滑杆(4)上安装有摄像头(6)，所述眼动仪(5)的输出端和摄像头(6)的输出端均与微型计算机(3)的输入端连接，所述电动轮椅(1)上设置有电动轮椅控制器(1-2)和用于驱动电动轮椅电机的轮椅电机驱动模块(1-1)，所述类人机械臂(2)上设置有类人机械臂控制器、用于对类人机械臂(2)的位置进行实时检测的类人机械臂位置传感器和用于驱动类人机械臂电机的机械臂电机驱动模块(2-1)，所述轮椅电机驱动模块(1-1)与电动轮椅控制器(1-2)的输出端连接，所述类人机械臂位置传感器与类人机械臂控制器的输入端连接，所述机械臂电机驱动模块(2-1)与类人机械臂控制器的输出端连接，所述电动轮椅控制器(1-2)和类人机械臂控制器均与微型计算机(3)相接，所述微型计算机(3)上还接有用于拾取人的声音信号的麦克风(7)，所述麦克风(7)安装在类人机械臂(2)上；其特征在于，该方法包括以下步骤：

步骤一、残疾人坐在电动轮椅(1)上，佩戴眼动仪(5)；

步骤二、当残疾人想要到某个位置处取物品时，残疾人先对着麦克风(7)说出想要取什么物品，所述麦克风(7)将其拾取到的残疾人的声音信号传输给微型计算机(3)，同时，摄像头(6)采集电动轮椅(1)前方的环境图像并将采集到的环境图像传输给微型计算机(3)；残疾人再注视轮椅要到达的位置；

步骤三、轮椅控制系统控制电动轮椅(1)从当前位置到达轮椅要到达的眼睛注视点的位置，具体过程为：

步骤301、眼动图像采集及传输：眼动仪(5)对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给微型计算机(3)；

步骤302、眼动图像处理：微型计算机(3)调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；

步骤303、路径规划：微型计算机(3)调用轮椅路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；

步骤304、轮椅运动：微型计算机(3)根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置；

步骤四、当电动轮椅(1)到达轮椅要到达的眼睛注视点的位置后，所述微型计算机(3)调用声音信号处理模块对麦克风(7)输出的声音信号进行处理，得到残疾人说出的想要取的物品；所述微型计算机(3)调用目标信息提取模块对此时摄像头(6)采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息；然后，所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；

步骤五、轮椅控制系统控制类人机械臂(2)到达所取物品的位置并进行取物，具体过程为：

步骤501、所述微型计算机(3)将目标信息的中心坐标输入预先训练好的专家系统模型中，得到类人机械臂(2)各自由度电机的目标角度；

步骤502、类人机械臂位置传感器对类人机械臂(2)的位置进行实时检测并将检测到的类人机械臂(2)各自由度电机的位置信号输出给类人机械臂控制器，类人机械臂控制器再传输给微型计算机(3)；

步骤503、微型计算机(3)调用机械臂路径规划模块对检测到的类人机械臂(2)各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂(2)的运动轨迹；

步骤504、类人机械臂控制器根据类人机械臂(2)的运动轨迹控制类人机械臂(2)到达所取物品的位置并进行取物；

所述类人机械臂(2)为六自由度类人机械臂；所述电动轮椅控制器(1-2)和类人机械臂控制器均为单片机；

步骤302中所述微型计算机(3)调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：

步骤30201、所述微型计算机(3)调用图像灰度化处理模块，对眼动图像进行灰度化处理；

步骤30202、所述微型计算机(3)调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；

步骤30203、所述微型计算机(3)调用图像二值化处理模块，并采用Otsu自适应阈值分割方法对眼动图像进行二值化处理；

步骤30204、所述微型计算机(3)调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；

步骤30205、所述微型计算机(3)调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；

步骤30206、所述微型计算机(3)调用注视点标定处理模块，将步骤30204处理得到的瞳孔中心和步骤30205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点；

步骤30201中所述微型计算机(3)调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述微型计算机(3)根据公式f(x′,y′)＝0.212671R(x′,y′)+0.715160G(x′,y′)+0.072169B(x′,y′)对眼动图像上位置(x′,y′)处的RGB三个分量进行加权平均，得到加权平均后的系数值f(x′,y′)并保存，其中，R(x′,y′)为眼动图像上位置(x′,y′)处的R分量，G(x′,y′)为眼动图像上位置(x′,y′)处的G分量，B(x′,y′)为眼动图像上位置(x′,y′)处的B分量；

步骤30204中所述微型计算机(3)调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：

步骤302041、所述微型计算机(3)在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；

步骤302042、所述微型计算机(3)从瞳孔轮廓曲线上任意取6个特征点，带入公式Bxy+C(y²-x²)+Dx+Ey+F＝-x²进行椭圆拟合，并添加约束条件A+C＝1，解方程组得到方程系数A、B、C、D、E、F的值；

步骤302043、所述微型计算机(3)根据公式计算椭圆的中心点坐标(x_o,y_o)；

步骤302044、所述微型计算机(3)将瞳孔轮廓曲线上的特征点p′(x_τp′,y_τp′)与椭圆的中心点连接，得到与点p′(x_τp′,y_τp′)对应的拟合椭圆上的点p(x_τp,y_τp)；其中，τ的取值为1～N的自然数，N为取的瞳孔轮廓曲线上的特征点的总个数且N的取值为大于1的正整数；

步骤302045、所述微型计算机(3)根据公式计算点p′(x_τp′，y_τp′)与点p(x_τp，y_τp)之间的像素距离l(τ)；

步骤302046、所述微型计算机(3)将τ的值从1取到N，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤302042～步骤302046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：

步骤3020461、所述微型计算机(3)根据公式计算τ的值从1取到N时l(τ)的算术平均值

步骤3020462、所述微型计算机(3)根据公式计算标准差σ；

步骤3020463、所述微型计算机(3)根据公式计算残差l_b(τ)；

步骤3020464、所述微型计算机(3)将τ的值从1取到N，并将l_b(τ)的值与-3σ和3σ比较，当l_b≤-3σ或l_b≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点；

步骤30206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。