[发明专利]基于容器的大数据采集方法、装置、存储介质和设备

权利要求书

1.一种基于容器的大数据采集方法，其特征在于，包括：

基于日志采集服务和日志传输服务，生成多个服务容器组；所述服务容器组包括数据收集容器和数据传输容器；

配置各个所述服务容器组的状态信息；所述状态信息包括存储资源；

依据各个所述服务容器组作为节点，构建分布式协调服务集群；

在接收到预置在业务系统中的埋点组件所发送的各个业务数据后，将各个所述业务数据分发到所述分布式协调服务集群的各个节点中；

触发每个所述节点中的数据收集容器，将分发给每个所述节点的业务数据写入到每个所述节点的存储资源中；

触发每个所述节点中的数据传输容器，将每个所述节点的存储资源中所记录的业务数据发送至预设存储空间。

2.根据权利要求1所述的方法，其特征在于，所述基于日志采集服务和日志传输服务，生成多个服务容器组，包括：

对日志采集服务进行打包，得到数据收集容器，以及对日志传输服务进行打包，得到数据传输容器；

对所述数据收集容器和所述数据传输容器进行编排，得到多个服务容器组。

3.根据权利要求1所述的方法，其特征在于，所述配置各个所述服务容器组的状态信息之后，还包括：

对各个所述服务容器组的状态信息进行编排，得到有状态副本集；

基于所述有状态副本集，生成配置文件，并将所述配置文件封装成配置映射组件。

4.根据权利要求1所述的方法，其特征在于，所述依据各个所述服务容器组作为节点，构建分布式协调服务集群之后，还包括：

在接收到用户输入的服务启动指令的情况下，对所述服务启动指令进行解析，得到每个所述服务容器组的注册信息和系统环境配置；

将每个所述服务容器组的注册信息和系统环境配置，初始化到与每个所述服务容器组对应的节点中。

5.根据权利要求1所述的方法，其特征在于，所述依据各个所述服务容器组作为节点，构建分布式协调服务集群之后，还包括：

对于所述分布式协调服务集群中的每个节点，在检测到预设校验服务在预设时间周期内，未接收到所述节点发送的心跳包和校验信息的情况下，提示用户与所述节点对应的服务容器组故障。

6.根据权利要求5所述的方法，其特征在于，还包括：

在检测到所述预设校验服务在所述预设时间周期内，接收到所述节点发送的心跳包和校验信息的情况下，触发所述预设校验服务将所述校验信息和所述节点预先初始化的注册信息进行比较；

在确定所述校验信息和所述节点预先初始化的注册信息不相同的情况下，提示所述用户与所述节点对应的服务容器组故障。

7.根据权利要求6所述的方法，其特征在于，还包括：

对故障的服务容器组进行健康检测，判断所述故障的服务容器组是否健康；

若所述故障的服务容器组健康，则对所述故障的服务容器组进行重启；

若所述故障的服务容器组不健康，则删除所述故障的服务容器组，并重新创建新的服务容器组。

8.一种基于容器的大数据采集装置，其特征在于，包括：

容器生成单元，用于基于日志采集服务和日志传输服务，生成多个服务容器组；所述服务容器组包括数据收集容器和数据传输容器；

状态配置单元，用于配置各个所述服务容器组的状态信息；所述状态信息包括存储资源；

集群构建单元，用于依据各个所述服务容器组作为节点，构建分布式协调服务集群；

数据分发单元，用于在接收到预置在业务系统中的埋点组件所发送的各个业务数据后，将各个所述业务数据分发到所述分布式协调服务集群的各个节点中；

数据存储单元，用于触发每个所述节点中的数据收集容器，将分发给每个所述节点的业务数据写入到每个所述节点的存储资源中；

数据发送单元，用于触发每个所述节点中的数据传输容器，将每个所述节点的存储资源中所记录的业务数据发送至预设存储空间。