[发明专利]一种多数据源合并数据的可视化查询方法和装置

说明书

本发明公开了一种多数据源合并数据的可视化查询方法和装置，属于可视查询与隐私保护领域，包括以下步骤：1)在N个参与者之间建立服务端；2)根据可视请求，各参与者计算本地数据D_i，i∈[1，N]；3)各参与者两两之间交换一个随机数向量，并将本地数据D_i、接收到的随机数向量以及发送出的随机数向量进行融合；同时，将N个参与者的融合结果上传至服务端；4)服务端将N个参与者上传的融合结果进行合并，并向前端返回合并后的结果，供前端进行可视分析。将多个客户端的数据进行合并，无需迭代，只用一次处理就能得到准确的可视查询结果，且能保证数据的隐私不被泄露。

技术领域

本发明涉及可视查询与隐私保护领域，具体地说，涉及一种多数据源合并数据的可视化查询方法和装置。

背景技术

在大数据的时代背景下，对数据隐私与安全的重视已成为世界性的趋势，因此，大规模地收集敏感数据存在很大的风险。随着欧盟在2018年5月25日开始实施《通用数据保护条例》(GDPR)，各国都在加强对数据安全及隐私的保护，更加注重用户的个人隐私和数据安全。然而在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司的不同部门之间，实现数据整合也重重阻力，在现实中将分散在各地、各个机构的数据进行整合的成本是巨大的。因此，如何在保障隐私的前提下对敏感数据进行合并是一个重要的研究领域。

为了解决数据孤岛问题，公布号为CN103338198A的中国专利文献公开了一种采用Linux系统解决网络安全及数据孤岛的方法，包括步骤：(1)搭建Linux中间层步骤：在X86双网卡服务器上安装Linux操作系统平台，同时按内外网各自网段设置双网卡各自ip地址及网关，在Linux操作系统平台上，安装Oracle数据库软件；(2)Linux中间层设置步骤：封锁Linux系统中非Oracle数据交换必须的网络端口；对安装好的Oracle软件的监听程序(TNS)进行设置，与相关生产内网和外网的数据库平台进行数据访问；(3)生产内网和外网分别通过访问Oracle数据库获取信息。步骤(3)中生产内网和外网分别通过访问Oracle数据库获取信息的方法步骤为：设置生产内网服务器A和外网服务器B用于内外网数据交互并且安装Oracle软件，同时对监听程序(TNS)进行设置，用DB_LINK的方式与Linux中间层的服务器C上安装的Oracle进行通讯。生产内网服务器A和外网服务器B与Linux中间层服务器C进行通讯的方法为：采用数据库内容镜像到Linux中间层服务器C，再通过镜像猎取数据库信息的方式。

但是，以上专利仅仅实现了内外网数据互访，且是一对一的互访，在可视查询领域中，人们常常需要从多个数据源的合并数据中进行局部的可视分析，并且需要相对准确的查询结果。由于上述的数据孤岛问题的存在，要在保障隐私的前提下，对不同数据源进行合并的同时还要满足合并结果的准确性是一项很困难的任务。现有的方法多如差分隐私和联邦学习，前者向每个数据源中加入大量的随机化，导致其可用性急剧下降，特别是对于一些复杂的查询，有时候随机化结果会很大程度地掩盖真实结果；后者需要进行多次迭代和反复训练，成本较高，且不能保证绝对的准确性。

发明内容

本发明的目的为提供一种多数据源合并数据的可视化查询方法和装置，能在保障隐私的前提下对多数据源的数据进行合并及查询，并保证数据的准确性。

为了实现上述目的，第一方面，本发明提供的多数据源合并数据的可视化查询方法，包括以下步骤：

步骤1)在N个参与者之间建立服务端；

步骤2)根据可视请求，各参与者计算本地数据D_i，i∈[1，N]；

步骤3)各参与者两两之间交换一个随机数向量，并将本地数据D_i、接收到的随机数向量以及发送出的随机数向量进行融合；同时，N个参与者将本地的融合结果上传至服务端；

步骤4)服务端将N个参与者上传的融合结果进行合并，并向前端返回合并后的结果，供前端进行可视分析。