[发明专利]分布式数据采集方法及装置

说明书

本发明公开了一种分布式数据采集方法及装置，方法包括：采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列，利用预置的负载均衡器将上述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件，然后解析各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。相较于现有技术而言，本发明可以分解消息数据的传输压力，上述数据库预先经过读写分离处理，可具有较高的数据处理性能，从而可以解决现有技术中轨道交通信号设备自动监测系统在采集数据较大时会出现中间件堵塞，数据处理不及时，导致整个系统的性能较差的技术问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式数据采集方法及装置。

背景技术

随着轨道交通的迅猛发展，计算机技术的快速提高，将计算机技术合理应用于轨道交通领域已越来越成为规定交通发展的趋势。

对于轨道交通的信号系统中各种设备的维护方式，正逐步由人工检测、定期维修向着综合设备实时监测并自动派发维修工单的模式转变。但这种转变需要海量的监测数据，而在轨道交通信号设备自动监测系统中，各种采集数据一般由中间件进行数据转发，这种方案在数据量比较小的时候可以满足系统需求，但当采集数据较大时则会出现中间件堵塞，数据处理不及时等各种问题，影响整个自动检测系统的性能。

发明内容

本发明的主要目的在于提供一种分布式数据采集方法及装置，旨在解决现有的轨道交通信号设备自动监测系统在采集数据较大时会出现中间件堵塞，数据处理不及时，导致整个系统的性能较差的技术问题。

为实现上述目的，本发明第一方面提供一种分布式数据采集方法，该方法包括：

采集已生成的消息数据，并将采集到的消息数据发送至预置的前置消息队列；

利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件；

解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库。

可选的，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤之前还包括：

监测所述前置消息队列是否接收到所述消息数据；

当所述前置消息队列接收到所述消息数据时，则执行所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤。

可选的，所述利用预置的负载均衡器将所述前置消息队列中的消息数据按照预设的数据分发方式分发至预设的各个消息中间件的步骤包括：

检测所述各个消息中间件可接收的最大消息数据量；

基于所述各个消息中间件可接收的最大消息数据量，利用所述负载均衡器将所述前置消息队列中的消息数据分发至所述各个消息中间件。

可选的，所述解析所述各个消息中间件中的子消息数据的步骤之前还包括：

监测所述各个消息中间件中是否存在至少一个有新的子消息数据生成的消息中间件；

若所述各个消息中间件中存在至少一个有新的子消息数据生成的消息中间件，则执行解析所述各个消息中间件中的子消息数据的步骤。

可选的，所述解析所述各个消息中间件中的子消息数据，将解析后的子消息数据保存至预置的经过读写分离处理的数据库的步骤包括：

解析所述各个消息中间件中的子消息数据，将解析后的子消息数据缓存至预设的存储器内；

每隔预设的时间间隔，将所述存储器内缓存的子消息数据保存至所述数据库。