[发明专利]使用多模匹配方案的对象辨识

权利要求书

1.一种由装置辨识场景中的对象的方法，所述方法包括：

从在场景处记录的音频计算多个声学辨识特征；以及

将所述声学辨识特征与对应于一或多个对象的预定声学辨识特征进行比较以确定对象的声音源类型；

基于所述声音源类型选择所述对象中的稳定关键点；以及

基于选定关键点和所述声音源类型识别所述对象。

2.根据权利要求1所述的方法，其进一步包括：

基于在所述场景处记录的音频选择对应于一或多个对象的一或多个关键点标志；

识别所述场景的图像中的多个关键点；以及

将所述关键点与所述关键点标志进行比较以识别所述对象。

3.根据权利要求1所述的方法，其进一步包括：

基于在所述场景处记录的所述音频选择场景图像的一部分；以及

仅从所述图像的所述部分内选择所述关键点。

4.根据权利要求3所述的方法，其中基于在所述场景处记录的所述音频选择所述图像的一部分包含：

从所述音频确定音频到达方向DOA；以及

基于所述音频DOA选择所述图像的所述部分。

5.根据权利要求4所述的方法，其中确定所述音频DOA包含：

在位于所述场景处的多个麦克风处接收所述音频，借此产生多个麦克风信号；以及

基于所述麦克风信号确定所述音频DOA。

6.根据权利要求1所述的方法，其进一步包括：

从所述场景的视频记录计算多个局部运动向量；以及

通过将所述局部运动向量与对应于一或多个对象的预定局部运动向量数据库进行比较且通过将所述关键点与一或多个关键点标志进行比较来识别所述对象。

7.根据权利要求1所述的方法，其中基于将所述关键点与一或多个关键点标志进行比较来识别所述对象。

8.根据权利要求7所述的方法，其中所述声学辨识特征包含梅尔频率倒谱系数。

9.根据权利要求1所述的方法，其进一步包括：

确定出现在图像中的一或多个对象的范围信息；以及

基于所述范围信息分析所述关键点。

10.根据权利要求9所述的方法，其中确定范围信息是选自由以下各项组成的群组：

使用自动聚焦相机确定范围信息，使用多相机图像视差估计确定范围信息，和前述各项的任一组合。

11.一种辨识场景中的对象的设备，其包括：

音频处理器，其经配置以从在场景处记录的音频计算多个声学辨识特征；

关键点选择器，其经配置以基于声音源类型选择对象中的稳定关键点；以及

匹配装置，其经配置以基于选定关键点且将所述声学辨识特征与对应于一或多个对象的预定声学辨识特征数据库进行比较以确定所述对象的所述声音源类型来识别所述对象。

12.根据权利要求11所述的设备，其进一步包括：

关键点检测器，其经配置以识别场景的图像中的多个关键点；

其中所述关键点选择器经配置以基于在所述场景处记录的音频选择对应于一或多个对象的一或多个关键点标志；以及

其中所述匹配装置经配置以将所述关键点与所述关键点标志进行比较以识别所述场景中的对象。

13.根据权利要求11所述的设备，其进一步包括：

第一选择器，其经配置以基于在所述场景处记录的所述音频选择所述场景的图像的一部分；以及

第二选择器，其经配置以仅从所述图像的所述部分内选择所述关键点。

14.根据权利要求13所述的设备，其中所述第一选择器包含：

检测器，其经配置以从所述音频确定音频到达方向DOA；以及

第三选择器，其经配置以基于所述音频DOA选择所述图像的所述部分。

15.根据权利要求14所述的设备，其中所述检测器包含：

位于所述场景处的用于接收所述音频的多个麦克风，其产生多个麦克风信号；以及

音频处理器，其经配置以基于所述麦克风信号确定所述音频DOA。