[发明专利]一种大数据处理流程的执行计划生成方法有效
| 申请号： | 201910985525.8 | 申请日： | 2019-10-17 |
| 公开（公告）号： | CN110765163B | 公开（公告）日： | 2020-07-14 |
| 发明（设计）人： | 袁思静 | 申请（专利权）人： | 广州商品清算中心股份有限公司 |
| 主分类号： | G06F16/2455 | 分类号： | G06F16/2455;G06F16/2458;G06F16/25 |
| 代理公司： | 广州粤高专利商标代理有限公司 44102 | 代理人： | 单香杰 |
| 地址： | 511458 广东省广州市南沙区海*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种大数据处理流程的执行计划生成方法，包括如下步骤：对每个数据采集终端匹配独立且唯一的数据传输路径；数据流以队列方式顺次通过数据传输路径进行数据预处理，定义字符串Data_ID参数统计通过数据传输路径的数据流数量；定义每个预处理流程的序号Manage_ID，数据流每通过一个处理流程，则数据流上新增表示处理流程序号的Manage_ID属性；对数据流的Manage_ID检测，判断数据处理的正确流程；每个数据流的独立数据上新增传输路径Port_ID属性和队列序号Data_ID属性；本方案既保证大数据处理过程中的统一性，又提供了大数据处理过程中的对比关联性。 | ||
| 搜索关键词： | 一种 数据处理 流程 执行 计划 生成 方法 | ||
【主权项】：
1.一种大数据处理流程的执行计划生成方法，其特征在于，包括如下步骤：/n步骤100、对每个数据采集终端匹配独立且唯一的数据传输路径，区别定义每个数据传输路径的名称，生成每个数据流的不同传输路径，并且在每个数据流上新增表示传输路径的Port_ID属性；/n步骤200、数据流以队列方式顺次通过数据传输路径进行数据预处理，定义字符串Data_ID参数统计通过数据传输路径的数据流数量，并且在顺序传输的每个数据流上新增表示队列序号的Data_ID属性；/n步骤300、数据流传输至数据仓库后进行预处理，定义每个预处理流程的序号Manage_ID，数据流每通过一个处理流程，则数据流上新增表示处理流程序号的Manage_ID属性；/n步骤400、数据流按序进行下一步处理流程时，对数据流的Manage_ID检测，判断数据处理的正确流程；/n步骤500、预处理后的数据流传输路径Port_ID参数和队列序号Data_ID参数映射到数据流包含的单个独立数据上，每个数据流的独立数据上新增传输路径Port_ID属性和队列序号Data_ID属性。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州商品清算中心股份有限公司，未经广州商品清算中心股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910985525.8/，转载请声明来源钻瓜专利网。
