[发明专利]一种基于ROS的模块化手部区域检测方法和装置

说明书

技术领域

本发明涉及计算机视觉中的特定对象检测领域，具体涉及一种基于ROS(Robot Operating System，机器人操作系统)的模块化手部区域检测方法和装置。

背景技术

随着机器人的广泛应用，人机交互技术越来越多地受到人们的重视。基于视觉的手势识别具有交互自然的优点，有广泛的应用前景，是人机交互的重要组成部分。手部检测和分割是手势识别和手势跟踪的基础，分割的效果直接影响手势识别或手势跟踪的效果。

人与机器人交互过程中，机器人上安装的视频采集设备与人体有一定距离时，采集的照片包含人体全身。由于此类图片存在大量背景，手部区域只是图片中很小的一部分，如何从大量背景区域检测到手部，并将其分割出来，从而为手势识别奠定基础，是值得研究的问题。

发明内容

为了解决上述问题，本发明提供一种基于ROS(Robot Operating System，机器人操作系统)的模块化手部区域检测方法，丰富了人与机器人交互的多样性，实现更为有效的人机交互操作。

一种基于分层结构和可变形部分模型的手部区域检测方法，包括以下步骤：

步骤1：建立手势图片库；

手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离下拍摄，三种距离分别为照相机距被拍摄人d₁、d₂和d₃，每个人同种距离拍摄三次，分别使人在图像中央、左边和右边，在n种环境下拍摄；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练 好的人体上半身模型检测人体上半身区域；

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；

步骤5：将原始图像分割出类肤色区域进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

一种基于ROS的模块化手部区域检测装置，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块；

手势库模块用于提供手势图片；

人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

肤色检测模块对人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值，调整肤色检测的结果，将类肤色区域从原始RGB图像中分割出来；

手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化，提取HOG特征，使用支持向量机训练，并使用训练好的分类器检测手部区域，手部检测模块分为训练和检测两个阶段，训练阶段，将区域调整模块分割出的类肤色区域，进行尺寸归一化后，提取HOG特征，使用支持向量机训练手部检测模型，检测阶段，将区域调整模块分割出的类肤色区域进行尺寸归一化后，使用训练好的手部检测模型检测手部区域。

本发明的优点在于：

(1)本发明所述基于ROS的模块化手部区域检测方法和装置，基于ROS(Robot Operating Syestem，机器人操作系统)，移植性好，可用于多种机器人系统；

(2)本发明所述基于ROS的模块化手部区域检测方法，提供一种分层结构的检测人体全身照的手部检测方法。第一层检测人体上半身，在一定程度上减少复杂环境对手部区域检 测的影响；第二层检测人体上半身中的肤色，去除非肤色区域；第三层调整检测到的肤色区域，第四层检测手部；

(3)本发明所述基于ROS的模块化手部区域检测方法，采用筛选策略，逐层缩小区域，计算量较少。即，先检测出人体上半身区域，去除复杂背景的影响，然后再使用肤色条件过滤出类肤色区域，去除非肤色区域，接下来对检测到的肤色区域进行形态学操作、区域调整，接下来提取这些区域的方向梯度直方图特征，使用支持向量机训练分类器，并使用训练好的分类器检测手部区域；