[发明专利]基于视觉智能的多重障碍者的手眼协同方法及装置

权利要求书

1.一种基于视觉智能的多重障碍者的手眼协同方法，其特征在于，包括：

S1.通过助盲眼镜获取用户前方图像画面进行成像；

S2.获取用户的指令信息；

S3.依据指令信息获取目标物品信息；

S4.对智能义肢以及目标物品信息所对应的物品进行定位；

S5.依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动；

步骤S1具体包括：

S11.通过双目摄像头实时 采集用户图像画面；

S12.对图像画面中的抖动误差进行消除；

S13.根据前后多帧图像的三维空间变化计算出物品的边缘轮廓；

S14.获取边缘轮廓的特征向量；

S15.将特征向量与真实向量进行相似度判断，对物品进行分类；

S16.将分类好的物品在空间中的坐标位置进行定位完成成像；

步骤S4具体包括：

S41.确定智能义肢以及目标物品信息对应的物品在空间中的相对空间位置关系；

S42.依据像素距离计算出目标物品信息对应的物品与智能义肢之间的相对距离；

S43.将空间位置关系以及相对距离发送至移动计算单元；

步骤S5具体包括：

S51.计算空间中所有物品的空间位置关系；

S52.以目标物品信息对应的物品为球心，选取无遮挡水平方向角度绝对值最小且垂直用户视线方向的径向方向为机械手预设行径路线；

S53.依据机械手行径路线控制智能义肢进行移动；

其中，机械手预设行径路线划分为先移动X轴达到径向方向的垂线上，后Z轴运动到径向方向上，最后Y轴运动直到智能义肢拿取到目标物品。

2.如权利要求1所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，步骤S3具体包括：

S31.筛选出指令信息对应的物品分类；

S32.将对应分类的物品进行标记并向用户反馈；

S33.接收确认信息并获取目标物品信息。

3.如权利要求1所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，在依据机械手行径路线控制智能义肢进行移动的同时，所述依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动的方法还包括：

S54.依据智能义肢当前行经路线与机械手预设行径路线计算偏离系数；

S55.若偏离系数大于预设值时，发出第一提示信息。

4.如权利要求3所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，在依据机械手行径路线控制智能义肢进行移动的同时，所述依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动的方法还包括：

S56.检测目标物品信息所对应的物品的倾斜角以及旋转角；

S57.若倾斜角大于预设值和/或旋转角大于预设值时，发出第二提示信息。

5.一种基于视觉智能的多重障碍者的手眼协同装置，其特征在于，包括：

画面获取模块，适于通过助盲眼镜获取用户前方图像画面进行成像；

指令获取模块，适于获取用户的指令信息；

计算模块，适于依据指令信息获取目标物品信息；

定位模块，适于对智能义肢以及目标物品信息所对应的物品进行定位；

移动模块，适于依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动，包括计算空间中所有物品的空间位置关系；以目标物品信息对应的物品为球心，选取无遮挡水平方向角度绝对值最小且垂直用户视线方向的径向方向为机械手预设行径路线，依据机械手行径路线控制智能义肢进行移动。

6.一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，其特征在于，所述一个或一个以上的指令内的权限管理装置的处理器执行时实现权利要求1至4中任一所述的基于视觉智能的多重障碍者的手眼协同方法。

7.一种电子设备，其特征在于，包括存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现权利要求1-4中任一项所述的基于视觉智能的多重障碍者的手眼协同方法。