[发明专利]一种AR眼镜及其声源虚拟重定位方法和装置

权利要求书

1.一种AR眼镜的声源虚拟重定位方法，所述AR眼镜具有TOF相机、麦克风阵列和双声道入耳式耳机，其特征在于，所述方法包括：

利用TOF相机对AR眼镜佩戴者的手势动作进行实时追踪识别；

在识别到第一手势动作后，开启麦克风阵列的音频采集功能；

利用麦克风阵列检测AR眼镜佩戴者周围真实世界中的声源位置及对应位置的声源信号；

在AR眼镜的镜片上标记出检测到的每个声源的声源位置；

在识别到第二手势动作后，根据所述第二手势动作的起始位置锁定目标声源；

对所述第二手势动作进行跟踪，将所述第二手势动作的结束位置确定为所述目标声源的虚拟重定位位置；

模拟所述目标声源在所述虚拟重定位位置处发声，得到所述目标声源虚拟重定位的声源信号；

将所述目标声源虚拟重定位的声源信号通过双声道入耳式耳机输出给AR眼镜佩戴者。

2.根据权利要求1所述方法，其特征在于，所述在AR眼镜的镜片上标记出检测到的每个声源的声源位置包括：

以AR眼镜佩戴者的头部中心为坐标原点建立世界坐标系，对检测到的每个声源确定出其在世界坐标系中的坐标位置；

以AR眼镜的镜片中心为坐标原点建立相机坐标系，根据相机标定算法得到的转换公式，将检测到的每个声源在世界坐标系中的坐标位置转换为相机坐标系中的坐标位置；

在AR眼镜的镜片上对检测到的每个声源标记出其在相机坐标系中的坐标位置。

3.根据权利要求2所述方法，其特征在于，所述在识别到第二手势动作后，根据所述第二手势动作的起始位置锁定目标声源包括：

在识别到第二手势动作后，确定出所述第二手势动作的起始位置在相机坐标系中的坐标位置；

当所述第二手势动作的起始位置与AR眼镜的镜片上标记出的某个声源在相机坐标系中的坐标距离小于预设距离值时，将所述声源确定为目标声源；

在AR眼镜的镜片上对所述目标声源进行区别标记，以此锁定所述目标声源。

4.根据权利要求3所述方法，其特征在于，所述对所述第二手势动作进行跟踪，将所述第二手势动作的结束位置确定为所述目标声源的虚拟重定位位置包括：

对所述第二手势动作进行跟踪，确定出所述第二手势动作的结束位置在相机坐标系中的坐标位置；

在AR眼镜的镜片上将所述第二手势动作的结束位置作为所述目标声源的虚拟重定位位置标记出。

5.根据权利要求4所述方法，其特征在于，所述模拟所述目标声源在所述虚拟重定位位置处发声，得到所述目标声源虚拟重定位的声源信号包括：

将所述虚拟重定位位置在相机坐标系中的坐标转换为世界坐标系中的坐标；

根据头相关传递函数HRTF标准数据集和所述虚拟重定位位置在世界坐标系中的坐标，对所述目标声源的声源信号进行三维音频算法处理，得到所述目标声源虚拟重定位的声源信号。

6.一种AR眼镜的声源虚拟重定位装置，所述AR眼镜具有TOF相机、麦克风阵列和双声道入耳式耳机，其特征在于，所述装置包括：

手势追踪识别单元，用于利用TOF相机对AR眼镜佩戴者的手势动作进行实时追踪识别；

音频采集开启单元，用于在识别到第一手势动作后，开启麦克风阵列的音频采集功能；

声源信息检测单元，用于利用麦克风阵列检测AR眼镜佩戴者周围真实世界中的声源位置及对应位置的声源信号；

声源位置标记单元，用于在AR眼镜的镜片上标记出检测到的每个声源的声源位置；

目标声源锁定单元，用于在识别到第二手势动作后，根据所述第二手势动作的起始位置锁定目标声源；

重定位位置确定单元，用于对所述第二手势动作进行跟踪，将所述第二手势动作的结束位置确定为所述目标声源的虚拟重定位位置；

模拟发声单元，用于模拟所述目标声源在所述虚拟重定位位置处发声，得到所述目标声源虚拟重定位的声源信号；

音频输出单元，用于将所述目标声源虚拟重定位的声源信号通过双声道入耳式耳机输出给AR眼镜佩戴者。