[发明专利]处理多集群作业记录的方法、装置、设备及存储介质

权利要求书

1.一种处理多集群作业记录的方法，包括消息队列服务系统和统一管理网站系统，其特征在于，所述方法包括：

获取多个集群运行任务生成的作业记录数据，以及检测所述任务的运行状态，当检测到所述运行状态为预设触发点时，向已创建的触发器发送触发指令，所述触发器接收所述触发指令，将所述作业记录数据的数据格式转换为JSON格式，以获取待处理数据，其中，所述预设触发点包括多个所述集群运行任务时的启动或暂停或结束的运行状态；

调用所述消息队列服务系统中的分布式消息系统Kafka的接口，当所述Kafka的接口接收到主题创建命令时，调用主题创建脚本，并通过所述主题创建脚本创建主题；

通过所述Kafka根据所述待处理数据对应的集群创建生产者，并通过所述Kafka根据所述统一管理网站系统创建消费者；

将所述待处理数据输入至所述Kafka，并通过所述Kafka根据所述主题和所述生产者对所述待处理数据进行分类，以获取目标数据；

根据所述生产者和所述主题对所述目标数据进行区块划分，以获取多个区块，根据已创建的区划协议链接多个所述区块，并以链接的多个所述区块和所述消费者作为数据储存层，其中，所述区划协议用于通过链条将每个所述区块从后向前有序地链接和指向前一个所述区块，以及将创建的所述区块链系统链接到所述Kafka中，以使所述Kafka运用到所述区块链系统中；

根据所述区划协议和所述数据存储层构建区块链系统，并通过所述区块链系统按照http的请求方式将所述目标数据输入至储存库，并触发读取指令，其中，所述Kafka包括储存库，所述储存库的数量包括多个；

当所述统一管理网站系统接收到所述读取指令时，通过所述数据存储层输出所述储存库中的所述目标数据，并将所述目标数据输入至MySQL数据库的缓存区；

将所述缓存区中的目标数据转换为超文本标记语言数据，并将所述超文本标记语言数据写入至已构建的静态超文本标记语言页面文件。

2.根据权利要求1所述的方法，其特征在于，所述任务包括事件，所述通过所述Kafka根据所述主题和所述生产者对所述待处理数据进行分类，以获取目标数据，包括：

获取所述事件的顺序关联度，以及获取所述事件的吞吐量，以及识别所述事件的实体类型，并获取所述实体类型之间的关联度，其中，所述实体类型用于一个地址对应一个用户；

根据所述顺序关联度、所述吞吐量和所述关联度，按照预设归类策略将所述待处理数据归类到所述主题，以获得第一分类数据，其中，所述预设归类策略包括将满足所述顺序关联度大于第一预设阈值、所述吞吐量小于第二预设阈值和所述关联度大于第三预设阈值中的至少一个条件的待处理数据归类到同一个主题；

标记所述第一分类数据，其中，所述标记的内容包括所述待处理数据对应的顺序关联度、吞吐量、实体类型、实体类型之间的关联度和主题的名称；

在标记的第一分类数据中根据所述生产者的类型进行分类，并标记所述标记的第一分类数据的生产者的类型，以获取目标数据。