[发明专利]语音隐私保护方法及存储介质

说明书

本发明公开了一种语音隐私数据保护方法及存储介质，所述方法包括：将训练好的特征分离器部署，通过离线第三方模型训练模块的方式分发到用户端，用户自定义设置需要保护的特征信息，特征分离器根据用户的设置，选择性的对用户的真实语音数据进行分离，将分离出的不包含隐私信息的特征信息，通过对称加密的方式传输给语音服务器，然后语音服务器收到加密特征值后进行解密分析，并推送相应的个性化服务。现有技术通常是通过加噪方式保护用户的隐私，其结果会影响到数据的效用，本发明可以给用户提供多项选择，用户可以根据自身的需求自定义隐私保护策略，设计的特征分离器在用户端根据用户的设置对语音数据进行分离，从而在保证数据效用和隐私的情况下分享数据。

技术领域

本发明涉及数据保护技术领域，具体涉及一种基于机器学习匿名方法的语音隐私数据保护方法及存储介质。

背景技术

随着语音助手、智能音响等交互设备的发展，智能语音设备需要收集用户的语音数据用于分析预测。语音服务器在收集到用户语音数据后，除了合法的处理目的外，可能会出于恶意目的从语音记录中提取个人敏感信息，如说话内容、声纹、情绪和健康信息，将其传递给意图不明的其他方，这可能会使用户面临歧视、攻击性广告、勒索、身份盗窃、欺诈和其它的数据滥用风险。

语音隐私保护技术既要保护用户语音数据的隐私，又要保证数据具有较高的可用性，即需要保护用户语音数据中的副信息不被泄露，又要保证用户能享受到语音服务器带来的便利。

常用的语音隐私保护处理方法包括删除、隐私计算和匿名。对于删除方法，指的是利用声学传感器对环境声音进行干扰，缺点是有一个保护范围，若用户超出声学传感器的作用范围，则得不到保护。对于隐私计算方法，指的是使用传统的如安全多方计算、差分隐私等方法，转移运用到说话人语音处理领域，以解决上述的隐私泄露问题，缺点是计算成本过高，并不十分适用于语音数据传输场景。对于匿名方法，指的是利用机器学习模型产生对抗性干扰噪声从而保护用户的隐私。上述这些方案大都无法均衡数据效用与隐私保护，用户即需要充分享受服务，又需要自身隐私得到有效保护，这是人工智能语音数据隐私保护方面亟待解决的问题。

发明内容

本发明提供的是一种基于机器学习匿名方法提出的语音隐私数据保护方法，该方案将语音中蕴含的声纹、情绪和健康特征进行分离，既充分保护了用户希望保护的隐私信息，又不影响数据的有效使用。

本发明的技术方案主要步骤如下：将训练好的特征分离器部署，通过离线第三方模型训练模块的方式分发到用户端，用户自定义设置需要保护的特征信息，特征分离器根据用户的设置，选择性的对用户的真实语音数据进行分离，将分离出的不包含隐私信息的特征信息，通过对称加密的方式传输给语音服务器，然后语音服务器收到加密特征值后进行解密分析，并推送相应的个性化服务。

其中所述特征分离器的构建包括以下步骤：

(1)将声学特征矢量通过RSFE卷积神经网络模型输出相应的语音特征矢量。

(2)将语音特征矢量输入至多头注意力机制中。

(3)用户在声纹、情绪、健康中选择需要分离的元素，特征分离器通过设置中间参数来控制语音分离的对象，通过在三个特征提取器之间加入互信息损失函数优化特征提取器，降低提取到各特征之间的相关性与相互性，实现特征分离。

步骤(1)中的RSFE卷积神经网络模型可以选用通用的模型，也可以采用本发明提供的一个经优化后的模型，所述优化的RSFE卷积神经网络模型构建方法包括：

(a)RSFE卷积神经网络模型结构为13个卷积层、一个长短时记忆网络LSTM、一个注意力层以及一个全连接层。

(b)卷积层的激活函数采用relu函数，池化层采用最大值池化方式，输入的特征通过第一层卷积后，与后12层卷积的结果进行contact连接。