[发明专利]数据同步方法及装置、服务器在审
| 申请号： | 201910956547.1 | 申请日： | 2019-09-29 |
| 公开（公告）号： | CN110704448A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 梁涌;吴峰;郭伟 | 申请（专利权）人： | 上海易点时空网络有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/25;G06F16/27;G06F16/955 |
| 代理公司： | 11541 北京卓唐知识产权代理有限公司 | 代理人： | 唐海力 |
| 地址： | 200125 上海市浦东*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种数据同步方法及装置、服务器。该方法包括开启至少一个进程，从消息队列中读取数据；按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；定时将上一个时间周期的数据文件转移到新的指定目录；调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。本申请解决了数据同步方法效果不佳的技术问题。通过本申请中的webHDFS接口方式将文件直接上传到Hive中，更简单直接，不需要搭建复杂的flume系统和各种配置，且一定程度加快了同步速率。 | ||
| 搜索关键词： | 分布式文件系统 时间周期 数据同步 数据文件 申请 读取 数据文件传输 数据文件转移 编辑处理 接口方式 消息队列 调取 服务器 写入 配置 进程 | ||
【主权项】：
1.一种数据同步方法，其特征在于，包括：/n开启至少一个进程，从消息队列中读取数据；/n按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；/n定时将上一个时间周期的数据文件转移到新的指定目录；/n调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海易点时空网络有限公司，未经上海易点时空网络有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910956547.1/，转载请声明来源钻瓜专利网。
- 上一篇：一种监控及评估实验室设备仪器贡献度的方法
- 下一篇：用于定位缺陷的方法和装置
