[发明专利]一种基于双Kinect相机的人机交互方法及系统

说明书

本发明涉及一种基于双Kinect相机的人机交互方法及系统，首先通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，并分别将数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；然后通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；接着对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；最后在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合。本发明提升了人与工业机器人协作生产安全性，为智能化生产提供了可靠且廉价的方案。

技术领域

本发明涉及工业机器人设计领域，特别是一种基于双Kinect相机的人机交互方法及系统。

背景技术

随着人口结构变化，中国的劳动力规模以及其占人口比重已经出现不同程度的下降，人口红利逐渐消失导致劳动力成本上升。众多制造业公司开始力推“机器换人”战略，进行生产线自动化改造，促进制造业智能化升级转型。工业机器人最早在汽车制造行业应用最为广泛，近年来电脑、通讯和消费性电子产品为主的3C产品快速发展，其工业机器人需求量也快速增长，已经遥遥领先其他行业。消费者对3C产品智能化、轻薄化、高速化的要求不断提高，产品快速迭代换新，多品种小批量的消费趋势愈加明显，3C产品生产线变更也变得更加频繁。目前的机器人以单独作业为主，柔性不足，难以应对产品制造工序的频繁切换，更适合于快速重复的工序中。相反，人类具有灵活和认知能力，能够更快的适应环境，对变换和突发事件做出反应和决策。因此，如果生产线能够结合人的“认知，分析，决策”能力和机器人的“力量，精度，重复性”能力，在生产线中引入人机协作机器人(Cobots)，那么就能更快的适应生产线的变换需求。本发明旨在实现工业机器人能够实现在不确定环境下实现自主避障和识别操作者意图，操作者与工业机器人能够相互协作。

发明内容

有鉴于此，本发明的目的是提出一种基于双Kinect相机的人机交互方法及系统，提升了人与工业机器人协作生产安全性，为智能化生产提供了可靠且廉价的方案。

本发明采用以下方案实现：一种基于双Kinect相机的人机交互方法，包括以下步骤：

通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，并分别将两台相机收集的数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；

通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；

对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；

在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合。

较佳的，将两台Kinect相机安装在工业机器人工作台两侧，两台Kinect相机通过USB接口接到计算机上，通过QtCreator编写上位机程序，利用OpenNI库读取Kinect相机的图像、深度数据和人体的骨骼位置信息，获取到两个Kinect相机视野内的工作环境的图像和深度数据转换为点云数据；其中骨架节点位置通过CSkeletonItem类来获取，获取的骨架节点共分为15个，手脚共12个，头部2个，躯干1个。

进一步地，还包括标定两Kinect相机与工业机器人“手眼标定”的步骤，具体包括以下步骤：

步骤S11：利用Matlab的Matlab Camera Toolbox对两Kinect相机进行内外参标定，获得两Kinect相机之间的转换矩阵；

步骤S12：利用九点标定法对Kinect相机和工业机器人进行标定，得到工业机器人的基座标和相机坐标之间的变换矩阵。

其中，步骤S11具体为：