[发明专利]一种分布式数据流分析方法在审
| 申请号： | 201611213281.4 | 申请日： | 2016-12-23 |
| 公开（公告）号： | CN108241661A | 公开（公告）日： | 2018-07-03 |
| 发明（设计）人： | 李振钊;安西民;徐凤桐 | 申请（专利权）人： | 航天星图科技（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京安博达知识产权代理有限公司 11271 | 代理人： | 徐国文 |
| 地址： | 101399 北京市顺义区国*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种分布式数据流分析方法，将数据流进行二次时序划分为子实时数据流、子近期数据文件和子历史数据文件，根据计算节点的实时处理能力相应的分别分配上述子实时数据流、子近期数据文件和子历史数据文件，根据计算节点的实时处理能力实现数据流的细粒度管理。 | ||
| 搜索关键词： | 数据流 分布式数据流 历史数据文件 计算节点 实时处理 数据文件 细粒度管理 时序 分析 分配 | ||
【主权项】：
1.一种分布式数据流分析方法，其特征在于，该方法包括如下步骤：(1)接收数据流，并对数据流进行时序分组，时序分组后将日志数据流分为实时数据流、近期数据文件和历史数据文件；(2)对实时数据流、近期数据文件和历史数据文件进行二次时序分组，二次时序分组后将日志数据流分为n个子实时数据流和m个子近期数据文件和k个历史文件数据；(3)从多个计算节点中选择实时计算能力排序高的前n计算节点作为子实时数据流计算节点，选择用于处理近期数据文件和历史数据文件的m个近期数据文件计算节点和k个历史数据文件计算节点；(4)将子实时数据流、子近期数据文件和子历史数据文件任务分配给子实时数据流计算节点、子近期数据文件计算节点和子历史数据文件计算节点；(5)子实时数据流计算节点、子近期数据文件计算节点和子历史数据文件计算节点分别进行相应分析任务的处理；(6)对上述处理结果进行整合并输出。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于航天星图科技（北京）有限公司，未经航天星图科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611213281.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于JMS的数据同步技术实现方法
- 下一篇：数据标注的优化方法及装置
