[发明专利]一种基于Kinect的铁路手信号识别方法

说明书

技术领域

本发明涉及一种铁路手信号识别的方法，特别涉及一种基于Kinect的铁路手信号识别方法，属于人机交互技术领域。

背景技术

人机交互技术是指通过计算机的输入和输出设备，实现人与计算机的交流。常见的人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统，这类设备有电磁跟踪设备、惯性传感器与数据手套等，这些属于接触式的传感器，需要穿戴额外的设备而使得交互过程不够自然、不能模拟真正的训练环境。而微软公司的体感交互设备Kinect是非接触式的传感器，可以通过操作者的手部动作来控制电脑，不需要人身体上穿戴额外的设备，使得人们能以自然的方式与计算机交互。

在人-虚拟环境交互体验系统中，用户可以通过交互设备与虚拟环境进行交互，虚拟环境中的景物对交互行为做出实时响应，使用户能感受到虚拟环境的变换，从而产生对相应现实世界的体验。为了提高人机交互能力和人-虚拟环境交互体验感，迫切需要设计一种基于一种铁路手信号识别的方法，用于人-列车虚拟三维环境的自然交互。

发明内容

本发明的目的由此产生，提供一种基于Kinect的铁路手信号识别方法，利用可提取骨骼点的三维信息以及深度、彩色图像信息的Kinect，对铁路手信号进行识别，然后转换为控制命令，控制三维虚拟场景中的列车的运行(开车、停车、调车等)，方便了人机交互的方式，提高了虚拟沉浸感。

为了实现上述发明目的，本发明所采用的技术方案是： 

一种基于Kinect的铁路手信号识别方法，包括以下步骤： 

步骤一：通过Kinect获取人体骨骼数据序列，并从中提取手、肘、肩、头、躯干在Kinect坐标系中的坐标，提取方法为直接提取；

步骤二：利用步骤一中得到的Kinect坐标系下手、肘、肩坐标计算手臂的状态，判断当前手臂状态是否满足铁路手信号状态要求；

步骤三：识别手中信号旗的颜色；

步骤四：利用手臂的位置与身体的夹角，分阶段进行铁路手信号的识别；

步骤五：铁路手信号判断正确后，根据铁路手信号的类型，转换为相应的控制列车的命令，发送给三维虚拟场景；

步骤六：三维虚拟场景解析相应的指令，控制列车的出发、停止、或者减速等。

上述步骤三中，信号旗包括红、黄、绿三种颜色，识别手中信号旗的颜色包括以下步骤：

步骤2.1，通过Kinect获取在Kinect 骨骼跟踪坐标系下手的坐标；

步骤2.2，利用Kinect SDK提供的API将手的坐标从骨骼坐标系下转换到深度图像坐标系，将与手的深度坐标在一定阈值范围内的区域保留，分割出手的区域；

步骤2.3，将分割出的区域从深度图像坐标系转换到彩色图像坐标系下，根据相应区域的RGB值来判断颜色；

上述步骤四中，铁路手信号所使用的手势包括静态手势和动态手势，对于静态手势的识别，判断在连续几帧数据中，手臂保持同一种状态；对于动态手势的识别，判断连续的几帧数据是否满足特定的条件约束，此过程分阶段进行判断，将一个复杂的连续动作分解为不同的阶段进行判断。

上述步骤五中，若判断符合某个铁路手信号，则输出相应手信号对应的控制命令。

上述步骤六中，三维虚拟场景中包含命令解析和控制模块，用于解析命令和控制列车的运行。

本发明利用可提取骨骼点的三维信息以及深度、彩色图像信息的Kinect，对铁路手信号进行识别，然后转换为控制命令，控制三维虚拟场景中的列车的运行(开车、停车、调车等)，具有以下优点：

（1）利用了Kinect主动红外线技术获取的骨骼跟踪坐标系下手的坐标，并利用深度图像信息对手部进行提取和分割，有效克服了基于图像的手部分割由于光照或者环境干扰的影响而无法正确分割的问题。

（2）充分利用人体的骨骼点的三维信息来进行手势判断，并对动态手势进行分阶段判断，降低了误识别率。

（3）应用于利用Kinect实现了自然交互式的列车控制，列车为铁路三维虚拟场景，方便了人机交互的方式，提高了虚拟沉浸感。

附图说明

图1是一种基于Kinect的铁路手信号机识别方法的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。