[发明专利]一种流数据处理的方法、装置及系统有效
| 申请号： | 201410579293.3 | 申请日： | 2014-10-24 |
| 公开（公告）号： | CN104331270B | 公开（公告）日： | 2017-07-21 |
| 发明（设计）人： | 张松山 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06F9/38 | 分类号： | G06F9/38;G06F9/46 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种流数据处理方法，该方法应用于流计算系统中的工作节点，所述方法包括获取源算子的初始分时下限值；接收所述业务数据，将所述业务数据流封装成三元组流数据，所述三元组流数据携带有时间戳和唯一标识该业务数据的数据标识；根据所述三元组流数据及所述源算子的初始分时下限值构建小批量数据集mini‑batch，所述时间戳用于指示所述构建过程中数据的有序性，所述唯一标识用于指示所述构建过程中数据的唯一性；对所述小批量数据集mini‑batch进行处理，输出处理后的数据。本发明实施例基于三元组流数据的有序性和唯一性实现流计算系统的可靠性，基于初始分时下限值可以提高流计算系统的计算吞吐量，从而保证了流计算系统可靠性的同时又提升了流计算吞吐能力。 | ||
| 搜索关键词： | 一种 数据处理 方法 装置 系统 | ||
【主权项】：
一种流数据处理方法，所述方法应用于流计算系统中的工作节点，所述工作节点上部署有至少一个源算子，以处理业务数据，其特征在于，所述方法包括：获取所述源算子的初始分时下限值；接收所述业务数据，将所述业务数据流封装成三元组流数据，所述三元组流数据携带有时间戳和唯一标识该业务数据的数据标识；根据所述三元组流数据及所述源算子的初始分时下限值构建小批量数据集mini‑batch，所述时间戳用于指示所述构建过程中数据的有序性，所述唯一标识用于指示所述构建过程中数据的唯一性；对所述小批量数据集mini‑batch进行处理，输出处理后的数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410579293.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种分离提纯三乙烯二胺的方法
- 下一篇：一种环己烷氧化制备环己酮的方法
