[发明专利]处理多集群作业记录的方法、装置、设备及存储介质

摘要

本申请涉及大数据领域，提供一种处理多集群作业记录的方法、装置、设备及存储介质，方法包括：将多个集群生成的作业记录数据处理以获取待处理数据；通过消息队列服务系统中的分布式消息系统Kafka创建主题、生产者和和消费者；通过所述Kafka对所述待处理数据进行分类以获取目标数据，并根据所述生产者、所述主题和所述目标数据构建区块链系统；通过所述区块链系统将所述目标数据输入至储存库；通过统一管理网站系统将所述储存库中的目标数据输入至MySQL数据库的缓存区；将所述缓存区中的目标数据转换为超文本标记语言数据，并将所述超文本标记语言数据输入至静态超文本标记语言页面文件。采用本方案，能够解决多集群作业管理系统并发崩溃的问题。

主权项

1.一种处理多集群作业记录的方法，包括消息队列服务系统和统一管理网站系统，其特征在于，所述方法包括：/n获取多个集群运行任务生成的作业记录数据，以及检测所述任务的运行状态，当检测到所述运行状态为预设触发点时，向已创建的触发器发送触发指令，所述触发器接收所述触发指令，将所述作业记录数据的数据格式转换为JSON格式，以获取待处理数据，其中，所述预设触发点包括多个所述集群运行任务时的启动或暂停或结束的运行状态；/n调用所述消息队列服务系统中的分布式消息系统Kafka的接口，当所述Kafka的接口接收到主题创建命令时，调用主题创建脚本，并通过所述主题创建脚本创建主题；/n通过所述Kafka根据所述待处理数据对应的集群创建生产者，并通过所述Kafka根据所述统一管理网站系统创建消费者；/n将所述待处理数据输入至所述Kafka，并通过所述Kafka根据所述主题和所述生产者对所述待处理数据进行分类，以获取目标数据；/n根据所述生产者和所述主题对所述目标数据进行区块划分，以获取多个区块，根据已创建的区划协议链接多个所述区块，并以链接的多个所述区块和所述消费者作为数据储存层，其中，所述区划协议用于通过链条将每个所述区块从后向前有序地链接和指向前一个所述区块，以及将创建的所述区块链系统链接到所述Kafka中，以使所述Kafka运用到所述区块链系统中；/n根据所述区划协议和所述数据存储层构建区块链系统，并通过所述区块链系统按照http的请求方式将所述目标数据输入至储存库，并触发读取指令，其中，所述Kafka包括储存库，所述储存库的数量包括多个；/n当所述统一管理网站系统接收到所述读取指令时，通过所述数据存储层输出所述储存库中的所述目标数据，并将所述目标数据输入至MySQL数据库的缓存区；/n将所述缓存区中的目标数据转换为超文本标记语言数据，并将所述超文本标记语言数据写入至已构建的静态超文本标记语言页面文件。/n