[发明专利]一种智能系统隐私性评估方法及系统

说明书

本发明公开了一种智能系统隐私性评估方法及系统，该评估方法包括：首先根据待评估系统的应用场景进行数据按需准备，并根据待评估系统的工作要求进行动态数据采样；而后通过智能语义编辑算法对评估数据中的隐私信息进行修改，通过评估所修改数据对模型推断精度的影响来分析数据隐私信息与系统推断精度的关联关系，进而对待评估系统的隐私性进行量化评估。本发明以数据驱动的方式，通过建立用户隐私信息与模型推断精度之间的关系，实现了智能系统的隐私性评估，从而建立了一套通用、高效、自动化的智能系统隐私性评估系统，有效提高了智能系统对用户隐私信息使用的透明度，保证用户对个人隐私信息使用风险的知情权。

技术领域

本发明涉及一种智能系统隐私性评估方及系统，属于数据隐私保护技术领域。

背景技术

近年来随着深度学习技术的快速发展，智能化已经日渐成为系统设计的新需求。智能推断服务，尤指深度学习推断服务（Deep Learning Inference Service, DLIS），在工作时以用户数据作为输入，产生具有特定语义的推断结果。通过向系统中引入深度学习推断服务，开发者可以为系统配备更多的功能，也可以优化提升系统的运行性能。在此，将一切以智能推断服务驱动的系统和应用，或者系统与应用当中的智能推断部分统称为智能系统。

用户在使用智能系统时，按照智能系统的要求提供数据，但对于智能系统在工作时到底使用了哪些数据特征进行推断，以及涉及到哪些用户数据隐私信息，用户不得而知。这也就导致了用户在准备智能系统输入数据时，往往会过度提供信息，从而造成了隐私信息泄露或智能系统滥用的风险。例如，在使用行人追踪系统时，用户很可能无意识地提供了包含清晰人脸的数据。

尽管智能系统快速发展，但对于智能系统隐私问题的相关工作还较少。对于解决智能系统隐私问题，现有方案主要是从智能系统的拥有者或训练数据提供者的角度出发，研究智能系统在推断过程中，是否会泄露模型的参数或模型的训练数据。这些方案对于想要从用户角度出发，获取智能系统的隐私性（本发明所定义的隐私性，是从用户角度出发来描述智能系统在执行正确的推断时所依赖的用户输入数据中的隐私信息数量）来说，基本无法满足。

由于用户既难以获得模型的结构和参数，又不具备丰富的深度学习知识，其很难通过对模型进行直接分析的方式来评估系统的隐私性。同时，一个理想的评估方法还应充分考虑不同系统的差异性，自动地针对不同待评估对象进行适配，避免无效评估。不同功能的智能系统往往会工作在不同的数据分布之上，因此评估系统需要能够为不同的待评估系统提供足够多的多种模态、不同分布的评估数据。智能系统的隐私性是从用户视角定义的系统固有属性，其评估过程应该足够高效以满足用户自发进行隐私性评估的需求。用户愿意花费的评估时间和计算开销往往非常有限，因此评估系统需要尽可能使用较少的测试样例、执行尽可能少的测试轮数来充分的进行隐私性评估。

因此，用户们希望找到一个通用、高效、自动化的技术方案，帮助他们自主判断智能系统的隐私性。比如在用户使用智能系统时，用户可以获取该智能系统在推断过程中真实需要的数据，从而仅提供必要数据，避免过度提供信息，造成隐私信息泄露或智能系统滥用的风险。

评估智能系统隐私性的关键是找出智能系统在执行正确推理时所依赖的语义信息中属于隐私信息的部分。而真正的评估过程面临了一些挑战，主要包括三个方面：

1）理论层面：针对深度学习可解释性的研究还在持续发展，目前无法通过直接分析深度学习模型的结构和参数得到模型正确推断时所依赖的全部语义信息，同时深度学习模型的结构和设计思路也复杂多样，很难围绕模型为中心建立一套通用的隐私性评估体系；

2）场景层面：通常情况下，智能系统是仅提供一个查询接口的灰盒或黑盒系统，系统以用户数据为输入，输出推断结果，系统用户或第三方分析人员（如白帽子）对系统中的深度学习模型知识（如参数、结构、训练方法等）了解甚少，同时智能系统中的推断模型会被压缩优化，因此没有对模型利用反向传播等技术进行分析的机会；