[发明专利]基于人脸追踪装置的语音交互方法在审
申请号: | 201811237986.9 | 申请日: | 2018-10-23 |
公开(公告)号: | CN109459722A | 公开(公告)日: | 2019-03-12 |
发明(设计)人: | 严彪;王森;李浩澜;徐其慧;张瀚夫;梁梓晨;严鹏飞 | 申请(专利权)人: | 同济大学 |
主分类号: | G01S3/80 | 分类号: | G01S3/80;G06K9/00 |
代理公司: | 上海伯瑞杰知识产权代理有限公司 31227 | 代理人: | 李庆 |
地址: | 200000 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人脸目标 人脸追踪 图像数据 语音交互 位置偏差 语音 扬声器 麦克风 摄像头 定向功能 人脸图像 实时采集 语音数据 语音应答 自动判断 播报 开闭 预设 图像 拍摄 返回 | ||
1.一种基于人脸追踪装置的语音交互方法,包括步骤:
S1:通过一追踪语音交互装置的一摄像头实时采集图像,获得图像数据;同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音,获得语音数据;
所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器,所述麦克风阵列包括多个麦克风,所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器;所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上,所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定;
S2:所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标,如包括所述人脸目标继续后续步骤,否则返回步骤S1;
S3:利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置;如所述人脸目标位于所述中心位置,跳至步骤S6;否则,所述控制器计算获得所述人脸目标与所述中心位置的位置偏差,并继续后续步骤;
S4:所述控制器根据所述位置偏差控制两所述舵机的旋转角度,使得所述人脸目标位于所述图像数据的中心位置;
S5:所述控制器控制所述摄像头进行拍摄,获得人脸图像;
S6:所述控制器根据所述人脸图像和所述语音数据自动判断所述用户的性别和年龄区间,获得性别特征数据和年龄特征数据;
S7:所述控制器根据所述性别特征数据、所述年龄特征数据和所述位置偏差控制所述扬声器播报对应的预设语音应答;
S8:所述控制器根据所述位置偏差调整各所述麦克风的开闭,返回步骤S1。
2.根据权利要求1所述的基于人脸追踪装置的语音交互方法,其特征在于,所述S5步骤前还包括步骤S9:通过所述测距传感器测量所述人脸目标与所述追踪摄像装置的距离,判断所述距离是否在一预设距离范围内,获得一判断结果,所述控制器根据所述判断结果控制调节所述行进装置。
3.根据权利要求2所述的基于人脸追踪装置的语音交互方法,其特征在于,所述测距传感器采用相位式测距传感器,所述S9步骤进一步包括步骤:
S91:所述测距传感器测量所述人脸目标与所述追踪摄像装置的距离,并向一上位机发送当前所述人脸目标的状态信息和所述数据;
S92:判断所述距离是否在所述预设距离范围内,获得所述判断结果,所述判断结果包括所述距离小于所述预设距离范围、所述距离在所述预设距离范围内和所述距离大于所述预设距离范围;
S93:所述控制器根据所述判断结果和所述行进装置的当前行进方向调节所述行进装置的移动速度,使得当前所述人脸目标与所述追踪摄像装置的距离位于所述预设距离范围内。
4.根据权利要求3所述的基于人脸追踪装置的语音交互方法,其特征在于,所述S1步骤前还包括:所述摄像头的初始化步骤。
5.根据权利要求4所述的基于人脸追踪装置的语音交互方法,其特征在于,所述利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置步骤进一步包括步骤:
利用所述人脸识别算法分割所述图像数据并标记特征点;
根据所述特征点确定所述人脸目标的一中心坐标并存储;
根据所述中心坐标判断所述人脸目标是否位于所述图像数据的中心位置。
6.根据权利要求5所述的基于人脸追踪装置的语音交互方法,其特征在于,还包括步骤:所述控制器通过分析所述语音数据对所述用户进行定位。
7.根据权利要求5所述的基于人脸追踪装置的语音交互方法,其特征在于,所述控制器包括树莓派、电脑、工业电脑,平板和嵌入式硬件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同济大学,未经同济大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811237986.9/1.html,转载请声明来源钻瓜专利网。