[发明专利]分布式数据采集方法及装置

权利要求书

1.一种分布式数据采集方法，其特征在于，所述方法包括：

采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；

利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；

解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。

2.根据权利要求1所述的方法，其特征在于，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤之前还包括：

监测所述前置消息队列是否接收到所述消息数据；

当所述前置消息队列接收到所述消息数据时，则执行所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤。

3.根据权利要求1所述的方法，其特征在于，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤包括：

检测所述各个消息中间件可接收的最大消息数据量；

基于所述各个消息中间件可接收的最大消息数据量，利用所述负载均衡器将所述前置消息队列中的消息数据分发至所述各个消息中间件。

4.根据权利要求1所述的方法，其特征在于，所述解析所述各个消息中间件中的子消息数据的步骤之前还包括：

监测所述各个消息中间件中是否存在至少一个有新的子消息数据生成的消息中间件；

若所述各个消息中间件中存在至少一个有新的子消息数据生成的消息中间件，则执行解析所述各个消息中间件中的子消息数据的步骤。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库的步骤包括：

解析所述各个消息中间件中的子消息数据，将解析后的子消息数据缓存至预设的存储器内；

每隔预设的时间间隔，将所述存储器内缓存的子消息数据保存至所述数据库。

6.一种分布式数据采集装置，其特征在于，所述装置包括：

采集模块，用于采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；

发送模块，用于利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；

存储模块，用于解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第一监测模块，用于监测所述前置消息队列是否接收到所述消息数据，当所述前置消息队列接收到所述消息数据时，则执行所述发送模块。

8.根据权利要求6所述的装置，其特征在于，所述发送模块包括：

检测模块，用于检测所述各个消息中间件可接收的最大消息数据量；

数据分发模块，用于基于所述各个消息中间件可接收的最大消息数据量，利用所述负载均衡器将所述前置消息队列中的消息数据分发至所述各个消息中间件。

9.根据权利要求6所述的装置，其特征在于，所述还包括：

第二监测模块，用于监测所述各个消息中间件中是否存在至少一个有新的子消息数据生成的消息中间件，若所述各个消息中间件中存在至少一个有新的子消息数据生成的消息中间件，则执行所述存储模块。

10.根据权利要求6至9任意一项所述的装置，其特征在于，所述存储模块包括：

数据解析模块，用于解析所述各个消息中间件中的子消息数据，将解析后的子消息数据缓存至预设的存储器内；

数据存储模块，用于每隔预设的时间间隔，将所述存储器内缓存的子消息数据保存至所述数据库。