[发明专利]机器人的人脸检测与情感识别系统及方法

说明书

技术领域

本发明涉及智能机器人技术领域，特别是涉及一种用于智能机器人的机器人的人脸检测与情感识别系统及方法。

背景技术

现有的家庭服务机器人的人脸识别能力有限，尤其是情感识别能力非常有限，无法对家庭中老人或者儿童的情感状态进行全方位的识别，比如中国专利申请CN200720077448.9描述了一种具有人脸识别的智能机器人,其包括:具有腿部电机、手臂电机、脖子电机及喇叭的机器人本体;装设在所述机器人本体上且用于摄取人脸图像的摄像装置;以及用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像的人脸识别单元；中国专利申请 201220365083.0描述了一种人脸识别的安保机器人，其由安保机器人本体、安装在所述安保机器人本体表面用于摄取人脸图像的摄像装置、装在所属安保机器人本体内部且用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较识别的人脸识别模块、用于处理数据且向其它模块发送指令的数据处理模块、用于供使用者发出指示以使安保机器人执行安防动作的远程遥控模块组成，这两件专利申请中的人脸识别模块，仅仅通过所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像,但识别能力有限，特别是针对存储较多人脸图像时，无法有效完成人脸的识别。

另外，中国实用新型专利CN201120506957.5则提供了一种助老与助残机器人，其包括一个能够旋转的单目视觉系统、用于识别生活用品和来访客人以及障碍物体、一双用于实现人手动作的五指形仿人机械手和用于驱动机器人行走的三角联动轮驱动结构该助老与助残机器人尽管具有防盗监测、安全检查、监护诊疗、辅助行走、物品搬运、家电控制、清洁卫生、家庭娱乐、报时催醒、儿童教育等功能，但没有人脸检测和情感识别的功能，无法对家庭中的老人和孩子的状态进行有效识别。

综上所述，现有针对家庭机器人应用的人脸检测和情感识别系统主要由可移动摄像头和固定摄像头组成，只是单纯实现人脸识别系统，智能化程度有限，并且无法感知周围其他信息，不能对老人和孩子的情感状态进行综合分析，从而进行全方位的陪护服务。因此，实有必要提出一种技术手段，以解决上述问题。

发明内容

为克服上述现有技术存在的不足，本发明之主要目的在于提供一种机器人的人脸检测与情感识别系统及方法，其使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人 ，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。

为达上述及其它目的，本发明提出一种机器人的人脸检测及情感识别系统，至少包括：

人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；

原始表情库构建模块,利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；

特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；

现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；

表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。

进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。

进一步地，该原始表情库构建模块使用主成分分析法降维去除图像冗余信息，进行表情特征提取。

进一步地，该视频采集装置为摄像头，设置于该机器人的头部，其位置改变受控于该机器人的头部运动装置。

进一步地，该摄像头设置于该机器人的头部眼球中。

为达到上述目的，本发明还提供一种机器人的人脸检测及情感识别方法，包括如下步骤：

步骤一，从视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；