[发明专利]一种基于双Kinect相机的人机交互方法及系统

权利要求书

1.一种基于双Kinect相机的人机交互方法，其特征在于，包括以下步骤：

通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，分别将两台相机收集的数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；

对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合；

所述通过训练好的BP神经网络对人体骨架姿态进行行为识别，具体包括以下步骤：

步骤S31：获取人体指向物体和等待接收物体的人体骨骼姿态数据集；

步骤S32：提取人体骨骼姿态向量模比值；

步骤S33：对提取的姿态向量模比值进行层次聚类分析处理，生成人体姿态神经网络分类器；

步骤S34：构建BP神经网络模型；

步骤S35：输入采集到的人体骨骼姿态信息，得到人体行为识别处理结果。

2.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，还包括标定两Kinect相机与工业机器人的步骤，具体包括以下步骤：

步骤S11：利用Matlab的Matlab CameraToolbox对两Kinect相机进行内外参标定，获得两Kinect相机之间的转换矩阵；

步骤S12：利用九点标定法对Kinect相机和工业机器人进行标定，得到工业机器人的基座标和相机坐标之间的变换矩阵。

3.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，所述对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图具体包括以下步骤：

步骤S21：将合成得到的点云数据采用PCL点云库中的高斯滤波进行滤波去噪，经滤波后输出滤波点云数据；

步骤S22：采用octomap库将滤波后的点云数据转换为八叉树地图。

4.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，所述在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划具体为：

在八叉树地图中采用OMPL运动规划库的3D-RRT算法进行机械臂路径规划，给定机器人任务后，获得起始点和目标点，将工业机器人从工作空间转换到状态空间，通过对状态空间的采样点进行碰撞检测，以避免对空间的建模，搜寻可行路径，再将状态空间中的路径还原为工作空间的关节运动。

5.一种基于权利要求1-4任一项所述的基于双Kinect相机的人机交互方法的系统，其特征在于，包括工业机器人本体、计算机以及与其通信相连的分别设置于工业机器人本体量测的两个Kinect相机以及工业机器人控制器；所述每个Kinect相机包括一彩色摄像头、一红外摄像头以及一红外投影机；所述计算机中存储有计算机程序，计算机在运行该计算机程序时执行如权利要求1-4任一项所述的方法步骤。

6.一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，其特征在于，该计算机程序在被处理器运行时能够实现如权利要求1-4任一项所述的方法步骤。