[发明专利]数据处理方法、系统、设备及存储介质在审
| 申请号： | 201910424863.4 | 申请日： | 2019-05-21 |
| 公开（公告）号： | CN110334070A | 公开（公告）日： | 2019-10-15 |
| 发明（设计）人： | 郭翔;邵利铎;奎志钢;帅玉廷;杨亚刚;楚彦凌;周红娟;闫冰;王晗 | 申请（专利权）人： | 中国人民财产保险股份有限公司 |
| 主分类号： | G06F16/178 | 分类号： | G06F16/178;G06F16/182;G06F9/54;G06F11/14;H04L29/08 |
| 代理公司： | 北京太合九思知识产权代理有限公司 11610 | 代理人： | 张爱;刘戈 |
| 地址： | 100022 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例提供一种数据处理方法、系统、设备及存储介质。在本申请的一些实施例中，在多台计算机设备上部署分布式计算框架，分布式计算框架包括：主控节点、数据采集节点、消息管理节点、数据流引擎节点和同步节点；在主控节点的控制下，数据采集节点、消息管理节点、数据流引擎节点和同步节点对数据进行实时处理，提高数据同步效率，且数据处理扩展性和容错性均得到提高；采用分布式计算框架处理数据流的方法能够在数据无序或延迟加载的情况下保证数据准确性，在发生故障的情况下，通过检查点机制，从上一个完成的检查点进行数据恢复处理，确保在应用程序中保持一次性状态语义，并且支持大规模并行计算，有较好的吞吐量和低延迟。 | ||
| 搜索关键词： | 分布式计算框架 数据处理 数据采集节点 数据流引擎 存储介质 同步节点 消息管理 主控节点 检查点 数据同步效率 大规模并行 多台计算机 数据准确性 扩展性 数据流 语义 发生故障 实时处理 数据恢复 应用程序 低延迟 容错性 一次性 加载 申请 吞吐量 延迟 部署 保证 | ||
【主权项】：
1.一种数据处理方法，其特征在于，包括：利用分布式计算框架中的数据采集节点并行地从源数据库产生的日志数据中获取原始增量数据并输出至分布式计算框架中的消息管理节点；利用分布式计算框架中的消息管理节点将所述原始增量数据分类存储至不同的消息队列中；根据当前的业务需求，从不同的消息队列中确定目标消息队列，并利用分布式计算框架中的数据流引擎节点对目标消息队列中的原始增量数据进行实时分析处理，以获取目标增量数据；利用分布式计算框架中的同步节点将目标增量数据实时同步至分布式文件系统中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国人民财产保险股份有限公司，未经中国人民财产保险股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910424863.4/，转载请声明来源钻瓜专利网。
