[发明专利]一种基于容器化微服务的流数据处理方法及装置在审
申请号: | 201811585463.3 | 申请日: | 2018-12-24 |
公开(公告)号: | CN111352726A | 公开(公告)日: | 2020-06-30 |
发明(设计)人: | 刘梦晗 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京智汇东方知识产权代理事务所(普通合伙) 11391 | 代理人: | 康正德;关艳芬 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 容器 微服 数据处理 方法 装置 | ||
1.一种基于容器化微服务的流数据处理方法,包括:
通过提供微服务业务的多个容器分别接收流数据信息,并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息;
按照预设的业务逻辑对所述待处理数据信息进行处理,并将处理结果数据存入各容器的指定存储位置;
从各容器的指定存储位置中获取处理结果数据进行汇总,输出所述流数据信息的处理结果集。
2.根据权利要求1所述的方法,其中,所述通过可提供不同微服务业务的多个容器分别接收流数据信息之前,还包括:
部署多个执行相同或不同工作任务的工作节点,基于所述工作节点打包多个提供微服务业务的容器;其中,各容器包括至少一个工作节点;所述工作节点包括:数据接收节点、数据处理节点、数据存储节点和/或数据汇总节点;
为各容器分配唯一标识信息,并通过预设容器管理平台对所述各容器进行统一管理。
3.根据权利要求2所述的方法,其中,所述通过提供微服务业务的多个容器分别接收流数据信息,并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息之后,还包括:
若任一容器监控到自身筛选出的待处理数据信息超过预设信息量和/或指定存储位置的存储量超过预设存储量,则向所述预设容器管理平台发送扩容请求,由所述预设容器管理平台基于该容器的配置信息启动新的容器。
4.根据权利要求2所述的方法,其中,所述为各容器分配唯一标识信息,并通过预设容器管理平台对所述各容器进行统一管理之后,还包括:
预先配置至少一个容器的连接方式;
若启动新的第一容器,则由所述新的第一容器将其连接方式发送至所述容器。
5.根据权利要求4所述的方法,其中,所述若启动新的第一容器,则由所述新的第一容器将其连接方式发送至所述容器之后,还包括:
若后续启动新的第二容器,则由所述新的第二容器将其连接方式发送至所述容器;
通过所述容器将所述新的第二容器的方式发送至所述新的第一容器,同时将所述新的第一容器的连接方式发送至所述新的第二容器。
6.根据权利要求2-5任一项所述的方法,其中,所述部署多个执行相同或不同工作任务的工作节点,基于所述工作节点打包多个提供微服务业务的容器之后,还包括:
在所述各容器中存储所述容器支持的功能以及启动实例的数量,并通过接口显示自身的状态信息。
7.根据权利要求1-5任一项所述的方法,其中,所述按照预设的业务逻辑对所述待处理数据信息进行处理,并将处理结果数据存入各容器的指定存储位置之后,还包括:
将存储时间超过预设时间的处理结果数据标记为过期数据,基于预设规则对各容器中存储的过期数据进行回收。
8.一种基于容器化微服务的流数据处理装置,包括:
接收模块,配置为通过提供微服务业务的多个容器分别接收流数据信息,并依据各容器的微服务业务类型在接收到的流数据信息中筛选出待处理数据信息;
处理模块,配置为按照预设的业务逻辑对所述待处理数据信息进行处理,并将处理结果数据存入各容器的指定存储位置;
汇总模块,配置为从各容器的指定存储位置中获取处理结果数据进行汇总,输出所述流数据信息的处理结果集。
9.一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码在计算设备上运行时,导致所述计算设备执行权利要求1-7任一项所述的基于容器化微服务的流数据处理方法。
10.一种计算设备,包括:
处理器;
存储有计算机程序代码的存储器;
当所述计算机程序代码被所述处理器运行时,导致所述计算设备执行权利要求1-7任一项所述的基于容器化微服务的流数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811585463.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种语音能力实现系统
- 下一篇:一种微量溶质元素晶界偏聚的筛选方法