[发明专利]一种基于差分隐私的联邦声纹识别方法

说明书

本发明提出一种基于差分隐私的联邦声纹识别方法，包括一：在服务端进行通用背景模型UBM预训练得到初始通用背景模型UBM；二：客户端接收预训练后的初始通用背景模型UBM，利用本地的私有语音数据进行初始通用背景模型UBM的学习；三：客户端学习得到的统计量进行差分隐私保护；四：服务端聚合多个客户端上传的差分隐私保护后的统计量，更新初始通用背景模型UBM；五：客户端接收更新后通用背景模型UBM，借助本地私有语音数据调整得到该客户端用户的高斯混合模型GMM，利用更新后通用背景模型UBM和该用户的高斯混合模型GMM判别待验证语音是否为该客户端用户所产生。

技术领域

本发明涉及一种基于差分隐私的联邦声纹识别方法，属于差分隐私和联邦学习技术在声纹识别领域的业务应用。

背景技术

声纹，是对语音中所蕴含的、能表征和标识说话人的语音特征，以及基于这些特征(参数)所建立的语音模型的总和，而声纹识别是根据待识别语音的声纹特征识别该段语音所对应的说话人的过程。与指纹识别类似，每个人在说话过程中所蕴含的语音特征和发音习惯几乎是独一无二的，即使是模仿，也难以改变说话者最本质的发音特征和声道特征。

由于语音具有使用方便、设备成本低和可远程认证等优点，声纹识别的应用场景十分广泛，可以应用于一切需要身份认证的场合，如生活中的门禁系统、金融证劵领域、公安司法领域、军事领域、安全支付领域等。总之，声纹识别逐渐发展成为日常生活与工作中最可靠的同时也是最安全的生物特征识别技术之一，拥有着无限的应用场景和巨大的发展潜力。

然而随着声纹识别技术的普及，声纹识别的声纹特征安全问题引起了国内外专家学者的广泛关注。声纹特征同其他生物信息一样，声纹特征具有唯一性，而且相伴终生，一旦声纹特征被特人盗用，会造成个人信息安全、生命财产安全等相关问题，而且会导致大量深层信息被挖掘、曝光，给使用者造成物质和精神上的极大损害。声纹识别技术同其他生物特征识别技术一样，需要大量的用户语音数据训练声纹识别模型。声纹识别是一种典型的C/S(客户端/服务器)模式，用户在使用服务提供商提供的声纹识别服务时，为了获得更好的识别准确率往往需要上传用户的语音数据到服务端，以进行模型的训练和用户声纹模型注册。由于用户的数据被存储在服务端，这会极大增加用户隐私数据泄露的风险。当服务器被恶意攻击者攻击或者由于管理问题，导致用户声纹特征泄漏时，将会给用户甚至整个生物特征识别产业带来严重的影响。为了保护用户的隐私信息，多个国家分别出台相应的隐私保护条例，如欧盟出台的《通用数据保护条例，GDPR》以及国内的《网络安全法》等。这些条例都明令禁止集中式收集并利用用户的隐私数据。因此，随着隐私保护条例的完善以及公众隐私保护意识的提升，声纹识别模型将面临数据稀缺和隐私泄漏的挑战。

现有的声纹识别的隐私保护方案是利用同态加密对声纹识别注册和验证阶段的用户隐私信息进行保护。

(1)声纹识别系统工作流程：

声纹识别是一种典型的C/S模式，不同于图片、文本等分类模型，声纹识别系统的工作过程可以分为以下三个主要阶段：

第一阶段，通用背景模型训练，声纹识别系统首先需要利用来自不同用户的大量语音数据，训练一个通用的通用背景模型，这个通用背景模型能够表征通过的说话人特征分布；

第二阶段，注册阶段，用户如果想要使用声纹识别服务，需要提供一定时长的语音数据，作为注册数据。声纹识别系统会利用用户提供的注册语音对通用背景模型进行微调，得到属于自己的声纹模型。

第三阶段，验证阶段，已经完成注册的用户，可以利用注册的声纹模型，验证某段语音是否为该用户所产生。

(2)基于GMM-UBM的声纹识别模型：