[发明专利]基于分区的数据流处理框架有效
| 申请号： | 201480061587.5 | 申请日： | 2014-11-11 |
| 公开（公告）号： | CN105706047B | 公开（公告）日： | 2018-08-31 |
| 发明（设计）人： | M·M·泰默;G·D·高雷;J·D·杜纳根;G·伯吉斯;熊颖 | 申请（专利权）人： | 亚马逊科技公司 |
| 主分类号： | G06F7/00 | 分类号： | G06F7/00 |
| 代理公司： | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人： | 郑宗玉 |
| 地址： | 美国*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种多租户流处理服务的控制节点接收请求，所述请求指示有待在特定的数据流的数据记录上执行的操作。基于流分区策略，所述控制节点确定有待使用的工作节点的初始数量。所述控制节点配置工作节点以在接收的数据上执行所述操作。响应于所述工作节点正处于不健康的状态中的确定，所述控制节点配置替换工作节点。 | ||
| 搜索关键词： | 基于 分区 数据流 处理 框架 | ||
【主权项】：
1.一种处理数据流的方法，其包括：由一个或多个计算装置执行以下各项：在多租户流处理服务处从特定的客户端接收有待在指定的处理阶段处在特定的数据流的数据记录上执行特定操作的指示，和用于所述特定操作的结果的特定的输出分配描述符；至少部分基于所述特定的操作来确定有待配置用于所述指定的处理阶段的工作节点的初始数量；配置所述初始数量的工作节点的特定的工作节点来：(a)在所述特定的数据流的一个或多个分区的接收的数据记录上执行所述特定的操作，(b)存储进度记录，所述进度记录指示已在所述工作节点处处理过的所述一个或多个分区的部分，以及(c)根据所述特定的输出分配描述符将所述特定的操作的结果传递至一个或多个目的地；以及响应于所述特定的工作节点正处于不健康的状态中的确定，选择替换工作节点以替换所述特定的工作节点，其中所述替换工作节点访问由所述特定的工作节点存储的进度记录，以识别所述一个或多个分区的至少一个数据记录，在所述一个或多个分区上有待由所述替换工作节点执行所述特定的操作。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于亚马逊科技公司，未经亚马逊科技公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201480061587.5/，转载请声明来源钻瓜专利网。
