[发明专利]一种数据采集系统和数据采集方法

权利要求书

1.一种数据采集系统，其特征在于，所述系统包括：

数据库服务器，用于存储预设配置规则信息；

数据采集服务器，用于获取应用终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据推送至分布式消息系统集群；

所述分布式消息系统集群，用于接收所述数据采集层推送的日志数据。

2.如权利要求1所述的系统，其特征在于，所述数据采集服务器部署有Log Server服务，用于实现远程过程调用服务来建立虚拟服务器，以实现负载均衡。

3.如权利要求2所述的系统，其特征在于，所述数据采集服务器部署有thrift软件框架，所述数据采集服务器基于所述thrift软件框架实现网络数据传输功能。

4.如权利要求1所述的系统，其特征在于，所述分布式消息系统集群基于Kafka组件，所述Kafka组件在存储数据时是通过顺序写磁盘的方式来持久化数据。

5.如权利要求3所述的系统，其特征在于，所述数据采集服务器，用于进行初始化服务器配置，包括创建文件的缓存路径、创建存储数据库、获取通用的信息字段，创建内部缓存队列，启动工作线程，以实现网络数据传输功能。

6.一种基于数据采集系统的数据采集方法，其特征在于，所述系统包括数据采集服务器、分布式消息系统集群以及数据库服务器；所述数据库服务器分别与所述数据采集服务器以及所述分布式消息系统集群建立连接；所述方法包括：

数据采集服务器获取应用终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据推送至分布式消息系统集群；

所述分布式消息系统集群接收所述数据采集层推送的日志数据。

7.如权利要求6所述的数据采集方法，其特征在于，所述数据采集服务器获取应用终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据推送至分布式消息系统集群的步骤，包括：

所述数据采集服务器获取应用终端传输的原始信息数据；

从所述数据库服务器中下载预设配置规则信息，将所述预设配置规则信息保存到预设容器中；

基于所述预设容器的信息，判断所述原始信息数据是否满足预设上传条件；

若所述原始信息数据满足所述预设上传条件，则对所述原始信息数据进行封装和压缩作为日志数据推送至分布式消息系统集群。

8.如权利要求6-7任一项所述的数据采集方法，其特征在于，所述数据采集服务器部署有thrift软件框架，所述数据采集服务器基于所述thrift软件框架实现网络数据传输功能。

9.如权利要求6所述的数据采集方法，其特征在于，所述分布式消息系统集群基于Kafka组件，所述Kafka组件在存储数据时是通过顺序写磁盘的方式来持久化数据。

10.如权利要求7所述的数据采集方法，其特征在于，所述数据采集服务器获取应用终端传输的原始信息数据的步骤之前，还包括：

所述数据采集服务器进行初始化服务器配置，包括创建文件的缓存路径、创建存储数据库、获取通用的信息字段，创建内部缓存队列，启动工作线程，以实现网络数据传输功能。