[发明专利]一种基于麦克风阵列与双目摄像头的说话人定位与识别方法

摘要

本发明公开了一种基于麦克风阵列与双目摄像头的说话人定位与识别方法，主要依托麦克风阵列和占用资源较少的TDOA方法进行说话人粗定位，之后再结合精度更高但是视野狭小的双目摄像头进行准确定位，在实现了精准的360°全方位声源定位的基础上大幅减少了软件开销，使得系统能够获得更高的刷新率，或者在空闲时间内执行其他任务；同时，本发明还利用了动态调整的加权平均方法来权衡声音和图像的识别结果使得最终系统输出的识别结果更为准确可靠。

主权项

1.一种基于麦克风阵列与双目摄像头的说话人定位与识别方法，其特征在于，包括如下步骤：(1)设置麦克风阵列、双目摄像头和双目摄像头所处的转动平台，分别构建目标人脸与i‑vector数据库并训练基于图像的人脸识别模型与基于音频的说话人识别模型；(2)将双目摄像头与麦克风阵列固定于旋转平台上，计算在当前环境中人脸识别模型与说话人识别模型的置信度wV与wA；(3)麦克风阵列首先记录一段音频，计算其平均功率作为环境功率；(4)当麦克风阵列检测到当前功率与环境功率的差值大于某阈值时，且持续时间大于某阈值时，系统开始记录声音，并使用TDOA方法计算声源坐标和该点与双目摄像头镜头方向在水平面内的夹角θ；(5)将旋转平台旋转θ角，双目摄像头采集图像信息，并使用Google提供的TensorFlow Object Detection API中的Single Shot MultiBox Detector in TensorFlow框架与模型识别图片中物体信息；若识别结果中不存在人体，则认为所记录声音音源非人，系统恢复待机；(6)对采集到的音频使用步骤(1)中构建的说话人识别模型进行说话人识别，取置信度最高的前五个结果A₁，A₂，…，A₅；对采集到的图像中的所有n个“人体”部分使用步骤(1)中构建的人脸识别模型进行人脸识别，每个人体取置信度最高的前五个结果，最终为并将两种识别结果通过w_A与w_V进行加权平均，即对i＝1～5与j＝1～n，计算取最大值则最终结果为：说话人是目标y，其身份为x；(7)利用双目定位技术确定目标当前位置，并结合θ角计算出目标在世界坐标系下的坐标。