[发明专利]一种离线数据批量更新方法、装置和分布式存储系统在审
| 申请号： | 201910463475.7 | 申请日： | 2019-05-30 |
| 公开（公告）号： | CN110188111A | 公开（公告）日： | 2019-08-30 |
| 发明（设计）人： | 龚兵;檀伊潮;杜春鹏;赵辉 | 申请（专利权）人： | 上海优扬新媒信息技术有限公司 |
| 主分类号： | G06F16/23 | 分类号： | G06F16/23;G06F16/953 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王宝筠 |
| 地址： | 201800 上海市嘉*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开一种离线数据批量更新方法、装置及分布式存储系统，该方法获取离线挖掘的原始数据，对原始数据进行数据处理，离线生成数据格式满足线上加载需求的目标数据。当达到数据更新周期时，只需将数据格式满足线上加载需求的目标数据更新到目标位置。该方法将离线挖掘得来数据，通过离线的方式快速地生成数据格式满足线上加载需求的目标数据，这样，在达到数据更新周期需要对目标位置的数据进行批量更新时，只需将已经离线得到的满足线上加载需求的目标数据更新到分布式存储系统的存储节点上，无需进行其他处理，且由于离线更新与在线检索分离，避免在线检索对在线批量更新的影响，从而提高数据批量更新的速率，减少数据批量更新的耗时。 | ||
| 搜索关键词： | 批量更新 离线 目标数据 加载 分布式存储系统 数据更新周期 离线数据 目标位置 生成数据 原始数据 在线检索 更新 存储节点 数据格式 数据处理 挖掘 耗时 申请 | ||
【主权项】：
1.一种离线数据批量更新方法，其特征在于，所述方法包括：获取离线挖掘的原始数据，所述原始数据用于对在线检索模块目标位置的数据进行更新；对所述原始数据进行数据处理，离线生成数据格式满足线上加载需求的目标数据；当达到数据更新周期时，将所述目标数据更新到所述目标位置。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海优扬新媒信息技术有限公司，未经上海优扬新媒信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910463475.7/，转载请声明来源钻瓜专利网。
