[发明专利]语音定向识别交互方法、装置、设备及介质

说明书

本专利申请涉及人机语音交互领域，公开了一种语音定向识别交互方法，包括如下步骤：拾取正前方的声音信号进行识别，得到语音文本内容，获取该语音文本内容；基于图像采集角度和采集距离，获取同时满足所述图像采集角度和所述采集距离的人脸图像；根据所述语音文本内容和所述人脸图像，判断是否作出回复；其中，所述图像采集角度为60‑70度，所述采集距离小于等于1m。本专利申请还公开了一种语音定向识别交互装置、电子设备及计算机存储介质，本专利提供的语音定向识别交互方法符合日常交流习惯，能有效消除局外人的声音跟环境的声音，实现与正在前方交互的用户达成有效的拟人化沟通。

技术领域

本发明涉及人机语音交互领域，具体涉及一种语音定向识别交互方法、装置、设备及介质。

背景技术

目前机器人或者语音助手的应用普遍处于复杂的环境下，比如会议室、户外、商场等嘈杂环境，从而会出现噪音、混响、人声干扰、回声等各种问题，并且在人机语音交互过程中，用于收声的阵列麦克风也会识别周围360度范围内的声音，为了解决误识环境音的问题，“唤醒词”技术在语音交互中被采用。在实际应用中，只有当机器人或语音交互助手接受到唤醒词之后才会对语音内容进行识别；否则，不进行识别。

“唤醒词”技术是当前主流机器人或智能设备进行人机交互时的主要触发方式。使用唤醒词唤醒的问题在于，对作为交互的主体人来说，他必须学习使用唤醒词，如果在一个陌生的地方遇到一个机器人，交互主题人完全不知道唤醒它的是哪一个唤醒词，如果没有唤醒词，将无法与它交流。再者，每次跟机器人对话前都要说一遍“唤醒词”，这样的交互流程不仅机械且影响交互的节奏，并且也会出现忘记说出“唤醒词”或频繁说出“唤醒词”的情况，导致主体交互人说完了一大段话，而机器人没有在聆听。

一般跟机器人交互都是站在其正前方，但是由于全向阵列麦克风的收音会导致收音过程中会混入局外人的声音跟环境的声音，即机器人身后或者左右有人声或者噪音也会收入并且识别，从而会降低语音识别的正确性，即使识别正确也有可能导致机器人错误应答，不能和正在前方交互的用户达成有效沟通。

为解决上述问题，中国专利CN105204628A公开了一种基于视觉唤醒的语音控制方法，包括语音控制设备接收到至少部分的语音信号后，启动安装在其上的图像接收单元，由图像接收单元获取图像并传送到图像识别单元进行识别，当识别到视线朝向所述语音控制设备的人脸时，进行语音识别。但是该专利仍然没有解决环境噪音的干扰，当语音控制设备360度范围内出现多个声源时，比如图像接收单元识别到人脸同时在语音控制设备接收到周围多个语音信号时，语音控制设备的识别效果会受到外界环境音的干扰。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种语音定向识别交互方法，结合人脸图像和声音信号确定特定交互对象后进行针对性回复，符合日常交流习惯。

本发明的目的之一采用以下技术方案实现：

一种语音定向识别交互方法，其特征在于，包括如下步骤：

获取采集到的语音文本内容；

获取同时满足图像采集角度和采集距离的人脸图像；

根据所述语音文本内容和所述人脸图像，判断是否作出回复；

其中，所述图像采集角度为60-70度，所述采集距离小于等于1m，且所述语音文本内容的采集方法为：对正前方的声音信号进行定向拾取和信号增强后，进行语音识别。

进一步地，所述人脸图像的采集步骤如下：对采集到的图像数据进行特征提取，再通过人脸检测算法判断图像中是否包含人脸，若不包含人脸，对所述图像数据不作处理；若包含人脸，则利用人脸角度估计算法和人脸距离估计算法计算图像中人脸的3D角度信息和距离信息，若人脸的3D角度信息和距离信息均满足条件，则保留该图像数据作为人脸图像；若不满足条件，则不采集。