[发明专利]一种基于容器化微服务的流数据处理方法及装置

说明书

本发明提供了一种基于容器化微服务的流数据处理方法及装置，所述方法包括：通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集。本发明提供的方法可以增加流式计算可扩展性，并且各容器在接收的流数据信息之后还可以从中筛选出自身需要处理的待处理数据进行处理，实现异质化的同时最小化非计算资源消耗，同时提升计算效率并节省存储空间。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于容器化微服务的流数据处理方法及装置。

背景技术

目前，对于针对大数据的少量需要实时计算的数据来讲，在进行流式计算部署时，往往依赖大数据批处理技术的计算资源管理技术，而这些技术主要面向集中式、大批量、CPU密集型计算，本身对资源消耗较大，往往部署在物理机上，扩容需新增机器，周期长，无法随时按需扩容。

另外，由于每个流计算应用都需要许多比如流计算框架、计算任务调度等服务支持，需要占用大量资源。同时由于各计算节点完全一致，导致需要从外部加载静态数据(如一些规则库)时，每个节点的内存需要加载全部静态数据，而每个节点往往只需要部分静态数据，进而造成资源浪费。由于计算过程前有大量的调度工作，采用传统流计算框架的计算效率非常低下。

发明内容

本发明提供了一种基于容器化微服务的流数据处理方法及装置以克服上述问题或者至少部分地解决上述问题。

根据本发明的一个方面，提供了一种基于容器化微服务的流数据处理方法，包括：

通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息；

按照预设的业务逻辑对所述待处理数据信息进行处理，并将处理结果数据存入各容器的指定存储位置；

从各容器的指定存储位置中获取处理结果数据进行汇总，输出所述流数据信息的处理结果集。

可选地，所述通过可提供不同微服务业务的多个容器分别接收流数据信息之前，还包括：

部署多个执行相同或不同工作任务的工作节点，基于所述工作节点打包多个提供微服务业务的容器；其中，各容器包括至少一个工作节点；所述工作节点包括：数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点；

为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理。

可选地，所述通过提供微服务业务的多个容器分别接收流数据信息，并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息之后，还包括：

若任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量，则向所述预设容器管理平台发送扩容请求，由所述预设容器管理平台基于该容器的配置信息启动新的容器。

可选地，所述为各容器分配唯一标识信息，并通过预设容器管理平台对所述各容器进行统一管理之后，还包括：

预先配置至少一个容器的连接方式；

若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器。

可选地，所述若启动新的第一容器，则由所述新的第一容器将其连接方式发送至所述容器之后，还包括：

若后续启动新的第二容器，则由所述新的第二容器将其连接方式发送至所述容器；

通过所述容器将所述新的第二容器的方式发送至所述新的第一容器，同时将所述新的第一容器的连接方式发送至所述新的第二容器。