[发明专利]一种听视觉协同的人形机器人头部定向方法

权利要求书

1.一种听视觉协同的人形机器人头部定向方法，用于为至少包含麦克风阵列、摄像头以及控制部的人形机器人确定目标方位并实现该人形机器人头部的定向，其特征在于，包括如下步骤：

步骤S1，通过所述麦克风阵列中的多个麦克风采集所述人形机器人四周的语音信号并记录所有所述麦克风采集到所述语音信号的时间；

步骤S2，利用预定的人声识别方法依次对所述麦克风采集到的所述语音信号进行识别得到声音识别结果，同时统计所述声音识别结果为人声的所述麦克风的数量并设定为人声麦克风数量；

步骤S3，判断所述人声麦克风数量是否大于1；

步骤S4，在所述人声麦克风数量大于1时根据所述时间将最先采集到人声的所述麦克风对应的方位设定为候选目标方位；

步骤S5，所述人形机器人通过所述控制部控制所述摄像头转向所述候选目标方位，并利用该摄像头采集所述候选目标方位的视频；

步骤S6，从所述视频中依次获取人脸图像帧，并利用预定的人脸辨识方法依次对所述人脸图像帧进行辨识得到包含人脸位置的人脸辨识结果，并统计所述人脸图像帧的人脸数量；

步骤S7，判断所述人脸数量是否大于1；

步骤S8，在所述人脸数量大于1时依次计算人脸在所述人脸图像帧中的面积并按照从大到小的顺序进行排序得到人脸面积序列；

步骤S9，将所述人脸面积序列中排名靠前的预定数量的所述面积对应的所述人脸设定为候选目标人脸；

步骤S10，利用预定的唇动检测算法依次对所述候选目标人脸对应的预定数量的连续的所述人脸图像帧进行唇动识别，并将出现唇动的所述候选目标人脸设定为唇动人脸；

步骤S11，判断所述唇动人脸的数量是否大于1；

步骤S12，在所述唇动人脸的所述数量大于1时将所述面积最大的所述唇动人脸对应的所述人脸位置设定为目标方位；

步骤S13，所述人形机器人通过所述控制部控制所述人形机器人头部转向所述目标方位从而实现所述定向。

2.根据权利要求1所述的一种听视觉协同的人形机器人头部定向方法，其特征在于：

其中，在所述步骤S3判断所述人声麦克风数量不大于1时包括如下步骤：

步骤A1，判断所述人声麦克风数量是否为1；

步骤A2，在所述人声麦克风数量为1时，将采集到人声的所述麦克风对应的方位设定为所述候选目标方位。

3.根据权利要求1所述的一种听视觉协同的人形机器人头部定向方法，其特征在于：

其中，在所述步骤S7判断所述人脸数量不大于1时包括如下步骤：

步骤B1，判断所述人脸数量是否为1；

步骤B2，在所述人脸数量为1时，将所述人脸对应的所述人脸位置设定为所述目标方位。

4.根据权利要求1所述的一种听视觉协同的人形机器人头部定向方法，其特征在于：

其中，在所述步骤S11所述唇动人脸的所述数量不大于1时包括如下步骤：

步骤C1，判断所述唇动人脸的所述数量是否为1；

步骤C2，在所述唇动人脸的所述数量为1时，将所述唇动人脸对应的所述人脸位置设定为目标方位。

5.根据权利要求1所述的一种听视觉协同的人形机器人头部定向方法，其特征在于：

其中，所述人声识别方法包括如下步骤：

步骤T1，对所述语音信号进行帯通滤波得到特定频段信号；

步骤T2，判断所述特定频段信号的强度是否超过所述语音信号的强度的70％，在判断为超过时所述声音识别结果为人声，在判断为未超过时所述声音识别结果为非人声。

6.根据权利要求1所述的一种听视觉协同的人形机器人头部定向方法，其特征在于：

其中，所述麦克风阵列至少包含3个所述麦克风。