[发明专利]基于容器的大数据采集方法、装置、存储介质和设备

说明书

本申请公开了一种基于容器的大数据采集方法、装置、存储介质和设备，基于日志采集服务和日志传输服务，生成多个服务容器组，并配置各个服务容器组的状态信息。依据各个服务容器组作为节点，构建分布式协调服务集群。在接收到埋点组件所发送的各个业务数据后，将各个业务数据分发到各个节点中。触发每个节点中的数据收集容器，将分发给每个节点的业务数据写入到每个节点的存储资源中。触发每个节点中的数据传输容器，将每个节点的存储资源中所记录的业务数据发送至预设存储空间。利用本申请所示方案，预先将业务数据存储到存储资源中，而后再异步将存储资源中的业务数据发送给预设存储空间，从而能够确保从业务系统中所采集到的数据不会丢失。

技术领域

本申请涉及大数据服务领域，尤其涉及一种基于容器的大数据采集方法、装置、存储介质和设备。

背景技术

随着互联网技术的快速发展，大数据服务的应用也越来越普遍。针对大数据场景下的海量数据上报需求，需要将数据采集服务采集到的海量数据，发送到预设存储空间(例如消息队列、分布式存储)进行保存。然而，当互联网故障、或者预设存储空间故障等异常情况时，部分从业务系统中所采集到的数据将无法稳定发送到预设存储空间，从而导致数据丢失，影响后续的大数据服务。

为此，如何在各种异常情况发生时，确保从业务系统中所采集到的数据不会丢失，成为了本领域亟需解决的问题。

发明内容

本申请提供了一种基于容器的大数据采集方法、装置、存储介质和设备，用于在各种异常情况发生时，确保从业务系统中所采集到的数据不会丢失。

为了实现上述目的，本申请提供了以下技术方案：

一种基于容器的大数据采集方法，包括：

基于日志采集服务和日志传输服务，生成多个服务容器组；所述服务容器组包括数据收集容器和数据传输容器；

配置各个所述服务容器组的状态信息；所述状态信息包括存储资源；

依据各个所述服务容器组作为节点，构建分布式协调服务集群；

在接收到预置在业务系统中的埋点组件所发送的各个业务数据后，将各个所述业务数据分发到所述分布式协调服务集群的各个节点中；

触发每个所述节点中的数据收集容器，将分发给每个所述节点的业务数据写入到每个所述节点的存储资源中；

触发每个所述节点中的数据传输容器，将每个所述节点的存储资源中所记录的业务数据发送至预设存储空间。

可选的，所述基于日志采集服务和日志传输服务，生成多个服务容器组，包括：

对日志采集服务进行打包，得到数据收集容器，以及对日志传输服务进行打包，得到数据传输容器；

对所述数据收集容器和所述数据传输容器进行编排，得到多个服务容器组。

可选的，所述配置各个所述服务容器组的状态信息之后，还包括：

对各个所述服务容器组的状态信息进行编排，得到有状态副本集；

基于所述有状态副本集，生成配置文件，并将所述配置文件封装成配置映射组件。

可选的，所述依据各个所述服务容器组作为节点，构建分布式协调服务集群之后，还包括：

在接收到用户输入的服务启动指令的情况下，对所述服务启动指令进行解析，得到每个所述服务容器组的注册信息和系统环境配置；

将每个所述服务容器组的注册信息和系统环境配置，初始化到与每个所述服务容器组对应的节点中。

可选的，所述依据各个所述服务容器组作为节点，构建分布式协调服务集群之后，还包括：