[发明专利]一种安全可靠的数据采集聚合查询方法和系统

权利要求书

1.一种安全可靠的数据采集聚合查询方法，其特征在于，包括以下步骤：

步骤1，应用客户端向统一数据中心注册以获取应用密钥，统一数据中心将应用客户端的标识ID与应用密钥进行关联存储；

步骤2，应用客户端与统一数据中心进行双向身份认证，若双向身份认证成功则进入下一步骤，若双向身份认证失败则结束；

步骤3，应用客户端采集第一日志数据，并采用所述应用密钥对第一日志数据进行加密得到日志数据密文，然后将日志数据密文传输给统一数据中心；

步骤4，统一数据中心接收日志数据密文后，基于应用客户端的标识ID查询到与其关联存储的应用密钥，并采用应用密钥对日志数据密文进行解密以得到第二日志数据；

步骤5，统一数据中心分别收集各应用客户端上报的日志数据并对所有第二日志数据进行聚合分析处理，得到聚合分析结果；

步骤6，第三方应用通过openAPI认证方式向统一数据中心查询获取对应的聚合分析结果；

所述步骤5中聚合分析处理过程，具体包括：

步骤5-1，统一数据中心基于第二日志数据进行完整性校验；

步骤5-2，若校验成功，将第二日志数据分类写入本地的日志文件中；

步骤5-3，Filebeat监控本地日志文件，并将新增的第二日志数据同步给Logstash；

步骤5-4， Logstash按照类型将新增的第二日志数据写入到ElasticSearch中的不同index中，以进行分类存储；

步骤5-5，调度ElasticSearch中的第二日志数据并进行补全、清洗和聚合处理，得到聚合分析结果并存储于ElasticSearch或数据库中，以供第三方应用通过openAPI认证方式查询获取。

2.根据权利要求1所述的一种安全可靠的数据采集聚合查询方法，其特征在于，所述步骤2中双向身份认证包括：

步骤2-1，通过CA机构分别向应用客户端和统一数据中心颁发数字证书；

步骤2-1，应用客户端将统一数据中心的数字证书加入本地信任目录中，同时，统一数据中心将应用客户端的数字证书加入本地信任目录中；

步骤2-3，应用客户端基于统一数据中心的数字证书对统一数据中心进行认证，同时，统一数据中心基于应用客户端的数字证书对应用客户端进行认证。

3.根据权利要求2所述的一种安全可靠的数据采集聚合查询方法，其特征在于，所述步骤2-3具体包括，

对统一数据中心的认证：

步骤2-3-1，统一数据中心基于当前的时间戳生成第一认证请求，并采用自己的数字证书私钥对第一认证请求进行加密签名，并将其传送给应用客户端；

步骤2-3-2，应用客户端基于统一数据中心的数字证书公钥对已签名的第一认证请求进行解密验签，若验签成功，则确认数字证书合法；

步骤2-3-3，验签成功后应用客户端从第一认证请求中提取出时间戳，并判断时间戳与当前时间的差值，若差值小于预设阈值时，则验证统一数据中心的身份合法，同时进行后续对应用客户端的认证流程；若差值大于预设阈值时，则验证统一数据中心的身份不合法，并结束后续流程；

对应用客户端的认证：

步骤2-3-4，应用客户端基于当前的时间戳生成第二认证请求，并采用自己的数字证书私钥对第二认证请求进行加密签名，并将其传送给统一数据中心；

步骤2-3-5，统一数据中心基于应用客户端的数字证书公钥对已签名的第二认证请求进行解密验签，若验签成功，则确认数字证书合法；

步骤2-3-6，验签成功后统一数据中心从第二认证请求中提取出时间戳，并判断时间戳与当前时间的差值，若差值小于预设阈值时，则验证应用客户端的身份合法，若差值大于预设阈值时，则验证应用客户端的身份不合法，并结束后续流程。

4.根据权利要求1所述的一种安全可靠的数据采集聚合查询方法，其特征在于，所述步骤2之后若双向身份认证成功，所述方法还包括：

统一数据中心对应用上报开关的状态进行设置，并将设置后的开关状态反馈给各应用客户端，用以控制应用客户端的状态，具体为：

若开关状态为打开状态，则各应用客户端进行采集第一日志数据并上报日志数据密文给统一数据中心；若开关状态为关闭状态，则各应用客户端停止采集第一日志数据和上报日志数密文据给统一数据中心。