[发明专利]一种安全可靠的数据采集聚合查询方法和系统

说明书

本发明提出一种安全可靠的数据采集聚合查询方法和系统，通过应用客户端向统一数据中心注册以获取应用密钥，应用客户端与统一数据中心进行双向身份认证；应用客户端采集第一日志数据，并采用所述应用密钥对第一日志数据进行加密得到日志数据密文，统一数据中心基于应用客户端的标识ID查询到与其关联存储的应用密钥对日志数据密文进行解密以得到第二日志数据；统一数据中心分别收集各应用客户端上报的第二日志数据并对所有第二日志数据进行聚合分析处理得到聚合分析结果；第三方应用通过openAPI认证方式向统一数据中心查询获取聚合分析结果。本发明解决了分布式系统中应用端进行日志数据上报和在数据中心查询日志数据时安全性不高易造成数据泄露的问题。

技术领域

本发明涉及数据处理技术领域，具体涉及一种安全可靠的数据采集聚合查询方法和系统。

背景技术

随着互联网科技的不断发展，越来越多的分布式系统应用在政企领域。但基于政企业务的需求，也对分布式系统提出了更高的要求，如要求对存储在分布式系统中各个设备上的各类日志数据进行统一处理。现有的统一处理方式，在前期日志数据上报，以及后期聚合数据发布的过程均容易存在身份不合法、数据泄露等安全问题，因此亟待提出一种安全可靠的数据采集聚合查询方法和系统。

发明内容

为了解决现有技术中分布式系统中应用端进行日志数据上报和在数据中心查询日志数据时安全性不高易造成数据泄露的问题。本发明提出一种安全可靠的数据采集聚合查询方法和系统。

一种安全可靠的数据采集聚合查询方法，包括以下步骤：

步骤1，应用客户端向统一数据中心注册以获取应用密钥，统一数据中心将应用客户端的标识ID与应用密钥进行关联存储；

步骤2，应用客户端与统一数据中心进行双向身份认证，若双向身份认证成功则进入下一步骤，若双向身份认证失败则结束；

步骤3，应用客户端采集第一日志数据，并采用所述应用密钥对第一日志数据进行加密得到日志数据密文，然后将日志数据密文传输给统一数据中心；

步骤4，统一数据中心接收日志数据密文后，基于应用客户端的标识ID查询到与其关联存储的应用密钥，并采用应用密钥对日志数据密文进行解密以得到第二日志数据；

步骤5，统一数据中心分别收集各应用客户端上报的第二日志数据并对所有第二日志数据进行聚合分析处理，得到聚合分析结果；

步骤6，第三方应用通过openAPI认证方式向统一数据中心查询获取对应的聚合分析结果。

进一步地，所述步骤2中双向身份认证包括：

步骤2-1，通过CA机构分别向应用客户端和统一数据中心颁发数字证书；

步骤2-1，应用客户端将统一数据中心的数字证书加入本地信任目录中，同时，统一数据中心将应用客户端的数字证书加入本地信任目录中；

步骤2-3，应用客户端基于统一数据中心的数字证书对统一数据中心进行认证，同时，统一数据中心基于应用客户端的数字证书对应用客户端进行认证。

进一步地，所述步骤2-3具体包括，

对统一数据中心的认证：

步骤2-3-1，统一数据中心基于当前的时间戳生成第一认证请求，并采用自己的数字证书私钥对第一认证请求进行加密签名，并将其传送给应用客户端；

步骤2-3-2，应用客户端基于统一数据中心的数字证书公钥对已签名的第一认证请求进行解密验签，若验签成功，则确认数字证书合法；