[发明专利]数据同步方法及装置、服务器

说明书

本申请公开了一种数据同步方法及装置、服务器。该方法包括开启至少一个进程，从消息队列中读取数据；按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；定时将上一个时间周期的数据文件转移到新的指定目录；调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。本申请解决了数据同步方法效果不佳的技术问题。通过本申请中的webHDFS接口方式将文件直接上传到Hive中，更简单直接，不需要搭建复杂的flume系统和各种配置，且一定程度加快了同步速率。

技术领域

本申请涉及大数据领域，具体而言，涉及一种数据同步方法及装置、服务器。

背景技术

现有同步实时数据的方式一般通过MQ消息队列，还需要借助Flume日志收集系统。

发明人发现，如果使用Flume日志收集系统，需要一定的java语言相关背景的大数据开发人员来搭建，学习成本高。进一步，维护成本也较高。

针对相关技术中数据同步方法效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据同步方法及装置、服务器，以解决问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据同步方法。具体地，是将MQ队列数据同步到数据仓库Hive的方法。

根据本申请的数据同步方法包括：开启至少一个进程，从消息队列中读取数据；按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；定时将上一个时间周期的数据文件转移到新的指定目录；调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。

进一步地，按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中之前，还包括：

按照当前时间周期目录对读取到的数据进行过滤或者编排处理之后，对数据文件进行压缩之后，再以分布式文件系统格式写入到数据文件中。

进一步地，开启至少一个进程，从消息队列中读取数据包括：

使用多进程批量读取方式处理根据业务数据的处理量级开启至少一个进程，从消息队列中读取数据。

进一步地，调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下包括：

调取数据文件传输接口WebHDFS REST API，将数据文件储存地址与HIVE服务器的IP地址和端口拼接为统一资源定位符URL。

进一步地，调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下包括：

调取数据文件传输接口，使用Curl传输工具将所述数据文件同步到分布式文件系统对应的数据表目录下。

为了实现上述目的，根据本申请的另一方面，提供了一种数据同步装置。

根据本申请的数据同步装置包括：进程启动模块，用于开启至少一个进程，从消息队列中读取数据；写入模块，用于按照当前时间周期目录对读取到的数据进行编辑处理之后，以分布式文件系统格式写入到数据文件中；转移模块，用于定时将上一个时间周期的数据文件转移到新的指定目录；同步模块，用于调取数据文件传输接口，将所述数据文件同步到分布式文件系统对应的数据表目录下。

进一步地，装置还包括：压缩模块，用于按照当前时间周期目录对读取到的数据进行过滤或者编排处理之后，对数据文件进行压缩之后，再以分布式文件系统格式写入到数据文件中。

进一步地，所述进程启动模块，用于使用多进程批量读取方式处理根据业务数据的处理量级开启至少一个进程，从消息队列中读取数据。