[发明专利]基于人脸追踪装置的语音交互方法在审

专利信息
申请号: 201811237986.9 申请日: 2018-10-23
公开(公告)号: CN109459722A 公开(公告)日: 2019-03-12
发明(设计)人: 严彪;王森;李浩澜;徐其慧;张瀚夫;梁梓晨;严鹏飞 申请(专利权)人: 同济大学
主分类号: G01S3/80 分类号: G01S3/80;G06K9/00
代理公司: 上海伯瑞杰知识产权代理有限公司 31227 代理人: 李庆
地址: 200000 *** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 人脸目标 人脸追踪 图像数据 语音交互 位置偏差 语音 扬声器 麦克风 摄像头 定向功能 人脸图像 实时采集 语音数据 语音应答 自动判断 播报 开闭 预设 图像 拍摄 返回
【权利要求书】:

1.一种基于人脸追踪装置的语音交互方法,包括步骤:

S1:通过一追踪语音交互装置的一摄像头实时采集图像,获得图像数据;同时所述追踪语音交互装置的一麦克风阵列采集一用户的语音,获得语音数据;

所述追踪摄像装置包括所述摄像头、两舵机、一测距传感器、一控制器、一行进装置、所述麦克风阵列和一扬声器,所述麦克风阵列包括多个麦克风,所述摄像头、所述舵机、所述测距传感器、所述行进装置、所述麦克风和所述扬声器连接所述控制器;所述摄像头通过两所述舵机可沿一第一平面和一第二平面转动地固定于所述行进装置上,所述测距传感器、所述麦克风和所述扬声器与所述行进装置固定;

S2:所述控制器处理所述图像数据并判断所述图像数据内是否包括一人脸目标,如包括所述人脸目标继续后续步骤,否则返回步骤S1;

S3:利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置;如所述人脸目标位于所述中心位置,跳至步骤S6;否则,所述控制器计算获得所述人脸目标与所述中心位置的位置偏差,并继续后续步骤;

S4:所述控制器根据所述位置偏差控制两所述舵机的旋转角度,使得所述人脸目标位于所述图像数据的中心位置;

S5:所述控制器控制所述摄像头进行拍摄,获得人脸图像;

S6:所述控制器根据所述人脸图像和所述语音数据自动判断所述用户的性别和年龄区间,获得性别特征数据和年龄特征数据;

S7:所述控制器根据所述性别特征数据、所述年龄特征数据和所述位置偏差控制所述扬声器播报对应的预设语音应答;

S8:所述控制器根据所述位置偏差调整各所述麦克风的开闭,返回步骤S1。

2.根据权利要求1所述的基于人脸追踪装置的语音交互方法,其特征在于,所述S5步骤前还包括步骤S9:通过所述测距传感器测量所述人脸目标与所述追踪摄像装置的距离,判断所述距离是否在一预设距离范围内,获得一判断结果,所述控制器根据所述判断结果控制调节所述行进装置。

3.根据权利要求2所述的基于人脸追踪装置的语音交互方法,其特征在于,所述测距传感器采用相位式测距传感器,所述S9步骤进一步包括步骤:

S91:所述测距传感器测量所述人脸目标与所述追踪摄像装置的距离,并向一上位机发送当前所述人脸目标的状态信息和所述数据;

S92:判断所述距离是否在所述预设距离范围内,获得所述判断结果,所述判断结果包括所述距离小于所述预设距离范围、所述距离在所述预设距离范围内和所述距离大于所述预设距离范围;

S93:所述控制器根据所述判断结果和所述行进装置的当前行进方向调节所述行进装置的移动速度,使得当前所述人脸目标与所述追踪摄像装置的距离位于所述预设距离范围内。

4.根据权利要求3所述的基于人脸追踪装置的语音交互方法,其特征在于,所述S1步骤前还包括:所述摄像头的初始化步骤。

5.根据权利要求4所述的基于人脸追踪装置的语音交互方法,其特征在于,所述利用人脸识别算法判断所述人脸目标是否位于所述图像数据的中心位置步骤进一步包括步骤:

利用所述人脸识别算法分割所述图像数据并标记特征点;

根据所述特征点确定所述人脸目标的一中心坐标并存储;

根据所述中心坐标判断所述人脸目标是否位于所述图像数据的中心位置。

6.根据权利要求5所述的基于人脸追踪装置的语音交互方法,其特征在于,还包括步骤:所述控制器通过分析所述语音数据对所述用户进行定位。

7.根据权利要求5所述的基于人脸追踪装置的语音交互方法,其特征在于,所述控制器包括树莓派、电脑、工业电脑,平板和嵌入式硬件。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同济大学,未经同济大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811237986.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top