[发明专利]分布式流式计算应用的在线扩容方法、装置、计算机设备有效
| 申请号： | 201910586414.X | 申请日： | 2019-07-01 |
| 公开（公告）号： | CN110377585B | 公开（公告）日： | 2022-02-11 |
| 发明（设计）人： | 易帆;段效晨;康林;赵艳杰;秦占明 | 申请（专利权）人： | 北京奇艺世纪科技有限公司 |
| 主分类号： | G06F16/21 | 分类号： | G06F16/21;G06F16/22 |
| 代理公司： | 北京华夏泰和知识产权代理有限公司 11662 | 代理人： | 孟德栋 |
| 地址： | 100080 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及一种分布式流式计算应用的在线扩容方法、装置、计算机设备和存储介质，该方法包括：当一条数据进入分布式流式计算应用时，在第一数据表中查找该条数据的分区键值所对应的时间戳，并将查找到的该时间戳记为第一时间戳；在第二数据表中查找小于第一时间戳且最接近第一时间戳的时间戳，并将查找到的该时间戳记为第二时间戳；按照预设的分区方式将该条数据分配到第二时间戳所对应的节点列表中的一个节点上。本申请提供的扩容方法，节点增加对于老数据的分布没有影响，不会连带已有的本地状态在节点上的分布发生改变，不需要停机，不会影响到分布式流式计算应用的使用，不需要采用专门的工具对节点上的本地状态进行迁移。 | ||
| 搜索关键词： | 分布式 计算 应用 在线 扩容 方法 装置 计算机 设备 | ||
【主权项】：
1.一种分布式流式计算应用的在线扩容方法，其特征在于，包括：当一条数据进入分布式流式计算应用时，在第一数据表中查找该条数据的分区键值所对应的时间戳，并将查找到的该时间戳记为第一时间戳；其中，所述第一数据表中包括多个分区键值以及每一个分区键值首次出现的时间戳；在第二数据表中查找小于所述第一时间戳且最接近所述第一时间戳的时间戳，并将查找到的该时间戳记为第二时间戳；其中，所述第二数据表中包括多个时间戳和每一个时间戳所对应的节点列表，所述多个时间戳包括所述分布式流式计算应用启动时的时间戳和所述分布式流式计算应用每次节点增加完成的时间戳，所述启动时的时间戳所对应的节点列表为所述分布式流式计算应用启动时的节点的列表，所述每次节点增加完成的时间戳所对应的节点列表为该次所增加的节点的列表；按照预设的分区方式将该条数据分配到所述第二时间戳所对应的节点列表中的一个节点上。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司，未经北京奇艺世纪科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910586414.X/，转载请声明来源钻瓜专利网。
