[发明专利]一种智能模型信息泄漏程度评估方法、系统、介质、设备

说明书

本发明属于网络安全技术领域，公开了一种智能模型信息泄漏程度评估方法、系统、介质、设备，定义代表特定数据集中包含的信息量的指标；利用信息论中的链式法则将指标展开后计算；定义查询向量拼接收到的攻击查询和模型回复；将向量添加到查询矩阵；计算单次查询从训练数据集窃取到的信息量；计算模型信息泄漏程度。本发明设计了一种用于评估模型信息量泄漏程度的计算方法，能够实时准确地计算出当前模型遭受攻击时的信息泄漏程度。同时也可用于两类数据集之间共同信息量的评估。本发明定义了用于评估模型信息量泄漏程度的指标，该指标不受待评定模型种类、复杂度和信息泄漏方式的影响，能够应用于所有智能模型和数据集。

技术领域

本发明属于网络安全技术领域，尤其涉及一种智能模型信息泄漏程度评估方法、系统、介质、设备。

背景技术

目前：信息时代，数据量呈指数型爆炸增长，大数据技术的快速发展给人工智能技术带来了长足进步和广泛应用，大量智能模型被应用到了自然语言处理、图像识别、推荐系统等领域，为这些生产领域带来便利的同时也放大了模型自身存在的安全问题。大量针对模型的攻击如模型提取攻击、投毒攻击、推断攻击等在对模型造成破坏的同时，也带来了严重的模型信息泄漏问题，攻击者通常利用所泄漏的信息来窃取模型中包含的关键参数，借此来复制，逃避安全模型的检测，在除破坏模型之外给其他业务也带来了巨大的威胁。同时机器学习也依赖于大量数据集进行学习训练，数据安全是国家网络安全的重要组成部分，有效评估刻画数据集的信息泄漏程度对于防止数据泄漏，保护数据安全和保障信息安全具有非常重要的作用。然而现有的用于评估模型信息泄漏和数据集信息泄漏程度的相关技术极少，仅有的一些评估方案也过分依赖于数据所处的具体场景，需要结合其它技术进行判断，缺乏统一通用有效的刻画方案。

现有方法一提出了一种基于代理模型状态的模型信息泄漏程度评估方案。该方法预先构建和现有模型等价的代理模型(通常采用决策树模型)，通过持续衡量攻击请求对代理模型的提取程度的方式来判断当前模型的信息泄漏程度。该方法难以为较复杂的模型构建等价代理模型，适用范围小，且需要保证攻击分布和代理模型训练数据集保持相同的分布，要求较高。

现有方法二提出了一种基于查询分布的模型信息泄漏程度评估方案。该方法根据正常查询生成了通用分布，当发现查询产生的分布和正常分布产生差异时即认为该查询为恶意攻击。该方法同样能够适用的模型非常少(目前仅应用到了DNN模型)，且能检测的攻击类型也很局限，同时对泄漏程度刻画不够精确和及时，在实际使用中不利于推广。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有方法难以为较复杂的模型构建等价代理模型，适用范围小，且需要保证攻击分布和代理模型训练数据集保持相同的分布，要求较高。

(2)现有方法能够适用的模型非常少(目前仅应用到了DNN模型)，且能检测的攻击类型也很局限，同时对泄漏程度刻画不够精确和及时，在实际使用中不利于推广。

解决以上问题及缺陷的难度为：目前的检测方案大多依赖于代理模型或分布，没有从模型根本上直接解决问题，检测结果不能准确反映模型的信息泄漏程度，无法准确判断攻击和帮助模型进行防御。同时智能模型的结构复杂性和不可解释性，导致其决策逻辑、判断依据和方式都很难直接被理解，这导致检测方案的构造无法从根本上进行设计和实现，进一步增加了智能模型信息泄漏检测的难度。

解决以上问题及缺陷的意义为：机器学习模型应用的大规模普及和发展需要很强的安全性保证，而精确刻画智能模型的信息泄漏程度，能够帮助我们有效检测出模型遭到的窃取等攻击，提高智能服务系统的安全性和可靠性。同时由于智能模型是由大量包含用户隐私的数据训练而成，提高模型的隐私信息泄漏评估能力，能够及早预防模型中机密信息泄漏问题的出现，确保隐私侵犯问题在人工智能应用中的发生。

发明内容

针对现有技术存在的问题，本发明提供了一种智能模型信息泄漏程度评估方法、系统、介质、设备。