[发明专利]一种数据处理方法、装置、介质和电子设备

权利要求书

1.一种数据处理方法，应用于服务端，其特征在于，包括：

第一服务器接收文本形式的质量数据，将所述质量数据存入Kafka消息队列；

调用第一处理引擎，从所述Kafka消息队列中读取所述质量数据，对所述质量数据处理后分别写入聚合查询分析引擎和明细查询分析引擎；

调用第二处理引擎，从所述Kafka消息队列中读取所述质量数据，通过计划任务的方式从所述第二处理引擎中定时计算产出天级或者小时级的离线报表数据写入关系数据库；

第二服务器接收第二类数据，将所述第二类数据存入存储服务器。

2.如权利要求1所述的方法，其特征在于，所述第一服务器接收文本形式的质量数据，将所述质量数据存入Kafka消息队列，包括：

第一服务器接收加密的文本形式的质量数据；

将所述加密的文本形式的质量数据解密后存入Kafka消息队列。

3.如权利要求2所述的方法，其特征在于，所述调用第一处理引擎，从所述Kafka消息队列中读取所述质量数据，对所述质量数据处理后分别写入聚合查询分析引擎和明细查询分析引擎，包括：

调用第一处理引擎，从所述Kafka消息队列中读取所述质量数据；

将所述质量数据进行预聚合处理后写入聚合查询分析引擎；

将所述质量数据清洗后写入明细查询分析引擎。

4.如权利要求1所述的方法，其特征在于，所述第二服务器接收第二类数据，将所述第二类数据存入存储服务器，包括：

第二服务器以二进制加密的形式接收诊断数据；

所述第二服务器将所述二进制加密的所述诊断数据存入对象存储服务器，同时将所述诊断数据的元信息存入关系型数据库。

5.如权利要求4所述的方法，其特征在于，还包括：

接收查询指令，并从缓存区获取查询结果；

若获取到所述查询结果，则将所述查询结果返回客户端；

若未获取到所述查询结果，则根据所述查询指令请求查询的数据类型，到所述聚合查询分析引擎、明细查询分析引擎、关系数据库或对象存储服务器查询。

6.如权利要求5所述的方法，其特征在于，所述根据所述查询指令请求查询的数据类型，到所述聚合查询分析引擎、明细查询分析引擎、关系数据库或对象存储服务器查询，包括：

查询指令请求查询的是质量数据的明细，则到明细查询分析引擎进行查询，和/或

查询指令请求查询的是质量聚合数据，则到聚合查询分析引擎进行查询，和/或

查询指令请求查询的是诊断数据，则先从关系数据库中查询所述诊断数据的元信息，获得加密的所述诊断数据在对象存储服务器的存储地址，然后从所述对象存储服务器获得所述诊断数据。

7.一种数据处理装置，应用于服务端，其特征在于，包括：

第一存储单元，用于第一服务器接收文本形式的质量数据，将所述质量数据存入Kafka消息队列；

第一调用单元，用于调用第一处理引擎，从所述Kafka消息队列中读取所述质量数据，对所述质量数据处理后分别写入聚合查询分析引擎和明细查询分析引擎；

第二调用单元，用于调用第二处理引擎，从所述Kafka消息队列中读取所述质量数据，通过计划任务的方式从所述第二处理引擎中定时计算产出天级或者小时级的离线报表数据写入关系数据库；

第二存储单元，用于第二服务器接收第二类数据，将所述第二类数据存入存储服务器。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。