[发明专利]一种数据采集系统和数据采集方法

说明书

本发明公开了一种数据采集系统和数据采集方法。本发明的数据采集系统包括数据库服务器，用于存储预设配置规则信息；数据采集服务器，用于获取应用终端传输的原始信息数据，调用数据库服务器中存储的预设配置规则信息来对原始信息数据进行预处理，得到日志数据，并将日志数据推送至分布式消息系统集群；所述分布式消息系统集群接收所述数据采集层推送的日志数据。实现一个可复用的应用终端信息采集与存储系统，可顺应移动互联网时代的大数据挖掘需求痛点，让信息数据能够快速流通起来，并将数据存储在通用的大数据组件中，提供快速、吞吐量高的接口用作大数据挖掘分析，并能够满足移动互联网企业集合旗下产品的实际情况实现对数据的采集与分析。

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种数据采集系统和数据采集方法。

背景技术

在目前的移动互联网风靡全球的大时代背景下，移动互联网依靠的终端设备之一的智能手机，每天产生了海量的含有大量待挖掘的信息数据。移动互联网企业通过这些信息数据，可以为产品在线上运营的情况提供可靠的分析，从而为了解产品线上情况，制定产品开发方向提供有力支撑。那么如何采集数据，如何初步的存储数据是每一个移动互联网企业所关心的重点所在。

但是目前互联网企业对于定制化的数据采集方案的过程比较繁琐，因此如何优化当前互联网企业实行的定制化的数据采集方案的过程，减少开发人员的劳动力和硬件成本，是一个待解决的问题。

发明内容

本发明的主要目的在于提供了一种数据采集系统和数据采集方法，旨在解决如何优化当前互联网企业实行的定制化的数据采集方案的过程，减少开发人员的劳动力和硬件成本的问题。

为实现上述目的，本发明提供了一种用于用户寻求帮助的语音提示方法，所述方法包括以下步骤：

一种数据采集系统，其特征在于，所述系统包括：

数据库服务器，用于存储预设配置规则信息；

数据采集服务器，用于获取应用终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据推送至分布式消息系统集群；

所述分布式消息系统集群，用于接收所述数据采集层推送的日志数据。

优选地，所述数据采集服务器部署有Log Server服务，用于实现远程过程调用服务来建立虚拟服务器，以实现负载均衡。

优选地，所述数据采集服务器部署有thrift软件框架，所述数据采集服务器基于所述thrift软件框架实现网络数据传输功能。

优选地，所述分布式消息系统集群基于Kafka组件，所述Kafka组件在存储数据时是通过顺序写磁盘的方式来持久化数据。

优选地，所述数据采集服务器，用于进行初始化服务器配置，包括创建文件的缓存路径、创建存储数据库、获取通用的信息字段，创建内部缓存队列，启动工作线程，以实现网络数据传输功能。

此外，为实现上述目的，本发明还提出一种基于数据采集系统的数据采集方法，所述系统包括数据采集服务器、分布式消息系统集群以及数据库服务器；所述数据库服务器分别与所述数据采集服务器以及所述分布式消息系统集群建立连接；所述方法包括：

数据采集服务器获取应用终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据推送至分布式消息系统集群；

所述分布式消息系统集群接收所述数据采集层推送的日志数据。

优选地，所述数据采集服务器获取应用终端传输的原始信息数据，调用所述数据库服务器中存储的预设配置规则信息来对所述原始信息数据进行预处理，得到日志数据，并将所述日志数据推送至分布式消息系统集群的步骤，包括：