[发明专利]多模态的知识蒸馏方法及系统

权利要求书

1.一种多模态的知识蒸馏方法，包括：

搭建单模态声纹识别系统和单模态人脸识别系统，向所述单模态声纹识别系统中输入同一组声音-人脸数据中的声音数据并提取得到单模态声纹嵌入，向所述单模态人脸识别系统中输入所述同一组声音-人脸数据中的人脸数据并提取得到单模态人脸嵌入；

将所述同一组声音-人脸数据得到的所述单模态声音嵌入和所述单模态人脸嵌入组合输入至作为教师模型的多模态融合系统中，得到多模态说话人嵌入；

利用所述教师模型对作为学生模型的单模态系统进行知识蒸馏，其中，所述知识蒸馏的方式包括：标签层面的知识蒸馏、深度说话人嵌入层面的知识蒸馏和分布层面的知识蒸馏。

2.根据权利要求1所述的方法，其中，所述利用所述教师模型对作为学生模型的单模态系统进行知识蒸馏还包括：

基于加法角余量损失对所述教师模型以及所述学生模型进行处理，用于优化知识蒸馏后所述学生模型的音视频分类界限。

3.根据权利要求1所述的方法，其中，所述标签层面的知识蒸馏包括：

利用所述教师模型以及所述学生模型确定的相对熵散度，将所述相对熵散度用作为所述单模态系统的辅助标签对所述学生模型进行知识蒸馏。

4.根据权利要求3所述的方法，其中，所述利用所述教师模型以及所述学生模型确定的相对熵散度包括：

基于所述教师模型以及所述学生模型确定的多模态说话人嵌入、单模态声纹嵌入、单模态人脸嵌入、预设知识蒸馏温度，利用投影矩阵确定单模态以及多模态的后验概率；

利用单模态以及多模态的后验概率确定对应的相对熵散度。

5.根据权利要求1所述的方法，其中，所述深度说话人嵌入层面的知识蒸馏包括：

基于所述多模态说话人嵌入、单模态声纹嵌入、单模态人脸嵌入确定所述教师模型与所述学生模型的余弦距离，利用所述余弦距离指导所述学生模型的相似度度量的优化。

6.根据权利要求1所述的方法，其中，所述分布层面的知识蒸馏包括：

使用基于预设的高斯核确定的最大均值差异来限制所述教师模型和所述学生模型之间的说话人嵌入分布。

7.一种多模态的知识蒸馏系统，包括：

单模态嵌入确定程序模块，用于搭建单模态声纹识别系统和单模态人脸识别系统，向所述单模态声纹识别系统中输入同一组声音-人脸数据中的声音数据并提取得到单模态声纹嵌入，向所述单模态人脸识别系统中输入所述同一组声音-人脸数据中的人脸数据并提取得到单模态人脸嵌入；

多模态嵌入确定程序模块，用于将所述同一组声音-人脸数据得到的所述单模态声音嵌入和所述单模态人脸嵌入组合输入至作为教师模型的多模态融合系统中，得到多模态说话人嵌入；

知识蒸馏迁移程序模块，用于利用所述教师模型对作为学生模型的单模态系统进行知识蒸馏，其中，所述知识蒸馏的方式包括：标签层面的知识蒸馏、深度说话人嵌入层面的知识蒸馏和分布层面的知识蒸馏。

8.根据权利要求7所述的系统，其中，所述知识蒸馏迁移程序模块用于：

基于加法角余量损失对所述教师模型以及所述学生模型进行处理，用于优化知识蒸馏后所述学生模型的音视频分类界限。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。