[发明专利]空中双手的控制方法及系统

说明书

技术领域

本发明涉及人机交互控制技术领域，特别是涉及一种空中双手的控制方法及系统。

背景技术

在人机交互控制技术领域中，手势控制以其操作自然、直观、非接触等优势逐步被应用于家电控制、互动展示、游戏控制等场合。基于计算机视觉的手势交互，其核心是利用计算机视觉、图像处理等技术对图像采集设备采集到的视频序列进行处理，得到对手势控制行为的理解，从而进行相应响应。

在现有的人机交互系统中，已经实现空中单手的控制，如单手漫游、单手动作识别操作，来完成对信息的浏览与选中，在执行浏览页面的放大、缩小、旋转等操作时，通过选中相应的图标来完成。然而，这种方法不够贴近人的自然行为，同时阻碍了交互的多样化发展。

发明内容

基于此，针对上述问题，有必要提出一种空中双手的控制方法及系统。

为解决上述技术问题，本发明提供了一种空中双手的控制方法，包括以下步骤：

获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；

在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；

在帧图像中提取目标可能的候选区域，生成候选目标区域列表；

定位各个目标对应的候选区域；

得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。

本技术方案通过获取帧图像，对其进行分析处理，然后检测人手，将人手插入跟踪目标列表中，对于双手空中操作时，每一只手对应一个候选区域，双手操作时，就匹配了两个候选区域，然后即可实现双手控制。

在其中一个实施例中，在步骤“定位各个目标对应的候选区域”之后，还包括以下步骤：调整各个目标在其候选区域的位置，获得目标的准确位置。

在其中一个实施例中，“在帧图像中提取目标可能的候选区域，生成候选目标区域列表”包括以下步骤：

采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；

将目标原位置加入静止区域中，采用区域分割算法得到静止区域；

对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。

以上具体步骤的目的是分别得到运动区域和静止区域，然后将两者进行去重合并，能有效充分提取候选区域。

在其中一个实施例中，“定位各个目标对应的候选区域”包括以下步骤：

a.计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；

b.从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；

c.重复步骤b，直到匹配对列表为空。

以上具体步骤的目的是通过匹配对来使匹配列表中的候选区域进行一一配对，能有效保证准确定位各个目标对应的候选区域。

为解决上述技术问题，本发明还提供了一种空中双手的控制系统，它包括：

图像采集模块，用于获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；

人手检测模块，用于在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；

候选区域生成模块，用于在帧图像中提取目标可能的候选区域，生成候选目标区域列表；

区域定位模块，用于定位各个目标对应的候选区域；

结果转化模块，用于得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。

在其中一个实施例中，还包括候选区域调整模块，用于调整各个目标在其候选区域的位置，获得目标的准确位置。

在其中一个实施例中，所述候选区域生成模块包括：运动区域分割单元，用于采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；静止区域分割单元，用于将目标原位置加入静止区域中，采用区域分割算法得到静止区域；区域合并单元，用于对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。

在其中一个实施例中，所述区域定位模块包括：跟踪目标计算单元，用于计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；匹配对提取单元，用于从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；匹配对重复单元，用于重复运行匹配对提取单元，直到匹配对列表为空。