[发明专利]数据同步方法及装置、服务器在审
| 申请号： | 201910956547.1 | 申请日： | 2019-09-29 |
| 公开（公告）号： | CN110704448A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 梁涌;吴峰;郭伟 | 申请（专利权）人： | 上海易点时空网络有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/25;G06F16/27;G06F16/955 |
| 代理公司： | 11541 北京卓唐知识产权代理有限公司 | 代理人： | 唐海力 |
| 地址： | 200125 上海市浦东*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 分布式文件系统 时间周期 数据同步 数据文件 申请 读取 数据文件传输 数据文件转移 编辑处理 接口方式 消息队列 调取 服务器 写入 配置 进程 | ||
1.一种数据同步方法，其特征在于，包括：
开启至少一个进程，从消息队列中读取数据；
按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；
定时将上一个时间周期的数据文件转移到新的指定目录；
调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。
2.根据权利要求1所述的数据同步方法，其特征在于，按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中之前，还包括：
按照当前时间周期目录对读取到的数据进行过滤或者编排处理之后，对数据文件进行压缩之后，再以分布式文件系统格式写入到数据文件中。
3.根据权利要求1所述的数据同步方法，其特征在于，开启至少一个进程，从消息队列中读取数据包括：
使用多进程批量读取方式处理根据业务数据的处理量级开启至少一个进程，从消息队列中读取数据。
4.根据权利要求1所述的数据同步方法，其特征在于，调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下包括：
调取数据文件传输接口WebHDFS REST API，将数据文件储存地址与HIVE服务器的IP地址和端口拼接为统一资源定位符URL。
5.根据权利要求1所述的数据同步方法，其特征在于，调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下包括：
调取数据文件传输接口，使用Curl传输工具将所述数据文件同步到分布式文件系统对应的数据表目录下。
6.一种数据同步装置，其特征在于，包括：
进程启动模块，用于开启至少一个进程，从消息队列中读取数据；
写入模块，用于按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；
转移模块，用于定时将上一个时间周期的数据文件转移到新的指定目录；
同步模块，用于调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。
7.根据权利要求6所述的数据同步装置，其特征在于，还包括：压缩模块，用于
按照当前时间周期目录对读取到的数据进行过滤或者编排处理之后，对数据文件进行压缩之后，再以分布式文件系统格式写入到数据文件中。
8.根据权利要求6所述的数据同步装置，其特征在于，所述进程启动模块，用于
使用多进程批量读取方式处理根据业务数据的处理量级开启至少一个进程，从消息队列中读取数据。
9.根据权利要求6所述的数据同步装置，其特征在于，所述同步模块，用于
调取数据文件传输接口WebHDFS REST API，将数据文件储存地址与HIVE服务器的IP地址和端口拼接为统一资源定位符URL。
10.一种服务器，其特征在于，包块：如权利要求5至9任一项所述的数据同步装置。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海易点时空网络有限公司，未经上海易点时空网络有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910956547.1/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种监控及评估实验室设备仪器贡献度的方法
- 下一篇：用于定位缺陷的方法和装置
