[发明专利]一种分布式计算机集群下的数据采集方法及系统

权利要求书

1.一种分布式计算机集群下的数据采集方法，其特征在于，所述方法包含：

复数个消息收集模块分别检测复数个应用服务器的数据状态，当任一所述应用服务器的所述数据状态发生变化时，对应的所述消息收集模块采集所述应用服务器上的增量数据；

通过消息转发模块将所述消息收集模块发送的复数个增量数据分别补充处理后合并为更新数据；

存储模块将所述更新数据与存储的历史数据比对合并后根据数据类型存储。

2.根据权利要求1所述的分布式计算机集群下的数据采集方法，其特征在于，将所述消息收集模块发送的复数个增量数据分别补充处理后合并为更新数据包含：将补充处理后且为同一消息收集模块发送的多条增量数据按时间先后顺序合并一条更新数据和/或将补充处理后且为复数个消息收集模块发送的多条增量数据按时间先后顺序合并一条更新数据。

3.根据权利要求1所述的分布式计算机集群下的数据采集方法，其特征在于，所述增量数据包含业务类型信息以及交易数据。

4.根据权利要求3所述的分布式计算机集群下的数据采集方法，其特征在于，所述数据状态发生变化时，对应的所述消息收集模块采集所述应用服务器上的增量数据包含：

所述信息收集模块初始化后获取交易数据的数据来源；

根据所述数据来源以数据流的方式访问数据源并记录数据流状态及读取位置；

监控所述数据流状态，当所述数据发生变化时获得所述增量数据。

5.根据权利要求1所述的分布式计算机集群下的数据采集方法，其特征在于，所述通过消息转发模块将所述消息收集模块发送的复数个增量数据分别补充处理包含：所述消息转发模块获取所述增量数据的日志；根据所述增量数据，对所述日志中每行记录补充发送所述增量数据的应用服务器的发送端信息和发送时间。

6.根据权利要求5所述的分布式计算机集群下的数据采集方法，其特征在于，所述通过消息转发模块将所述消息收集模块发送的复数个增量数据分别补充处理后合并为更新数据还包含：

将补充处理后的所述记录按时间顺序合并为更新数据；

查询当前所有内存队列的使用状态，根据所述内存队列使用状态分配至少两个内存队列发送所述更新数据；

所述两个内存队列包含第一内存队列和第二内存队列；

以时间先后顺序将所述更新数据中所有记录依次写入所述第一内存队列，当写入第一内存队列成功时，将写入成功的记录写入第二内存队列中，当写入第二内存队列成功后转存至存储模块。

7.根据权利要求6所述的分布式计算机集群下的数据采集方法，其特征在于，所述通过消息转发模块将所述消息收集模块发送的复数个增量数据分别补充处理后合并为更新数据还包含：当所述更新数据中的记录写入第一内存队列失败时或写入第二内存队列失败时，将写入失败的记录重新写入所述第一内存队列。

8.一种分布式计算机集群下的数据采集系统，其特征在于，所述系统包含：消息转发模块、存储模块和复数个信息收集模块；

所述复数个消息收集模块分别设置于复数个业务系统的应用服务器上，用于检测所述应用服务器的数据状态，当所述数据状态发生变化时，采集所述应用服务器上的增量数据；

所述消息转发模块与所述复数个消息收集模块相连，用于收集所述复数个消息收集模块获得的增量数据，将复数个增量数据分别补充处理后合并为更新数据；

所述存储模块与所述消息转发模块相连，用于将所述更新数据与存储的历史数据比对合并后根据数据类型存储。

9.根据权利要求8所述的分布式计算机集群下的数据采集系统，其特征在于，所述系统还包含数据加工模块，所述数据加工模块与所述存储模块相连，用于分析处理所述更新数据和历史数据合并后的数据。

10.根据权利要求8所述的分布式计算机集群下的数据采集系统，其特征在于，所述消息转发模块还包含负载均衡单元和复数台内存队列单元；

所述负载均衡单元分别与所述信息收集模块和内存队列单元相连，用于接收所述增量数据以及周期检查复数个内存队列单元使用状态，当所述负载均衡单元接收到所述增量数据后，根据所述内存队列单元使用状态分配至少两台内存队列单元对所述增量数据进行处理；所述内存队列单元用于将所述增量数据转发至所述存储模块。