[发明专利]一种基于消息队列的海量数据弹性写入方法

说明书

本发明提供一种基于消息队列的海量数据弹性写入方法，包括：(1)信息收集者将需要写入的信息放入消息队列；(2)消息队列对信息进行缓存；(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。本发明在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算，在保证海量数据快速写入的同时能有效节约计算资源。

技术领域

本发明属于软件工程技术领域，涉及一种基于消息队列的海量数据弹性写入方法。

背景技术

随着物联网、即时通信等技术的迅速发展，由机器产生的数据与通信记录已成为海量数据，实现大规模数据的高效写入显得日益迫切，因此，海量数据的弹性写入已成为当今社会研究的热点问题。多目标跟踪中存在大量的资源不足与资源过剩问题，增加了数据高效写入的复杂性，也使得实现更加困难。

消息队列和批量写入是两种常用的海量数据写入方法，消息队列是一种确写入异步化方法，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。所以在一些场景中，合理使用消息队列，可有效抵御大量涌入的写入操作对系统造成的冲击。批量写入是一种批量化操作，它是基于将多次写入操作简化为一次，对系统的内存消耗较大，同时容易造成较大的写入延迟实时性较差。

发明内容

本发明的目的在于克服现有技术的不足，提供一种消息队列的海量数据弹性写入方法，在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算。

本发明的技术方案如下：

一种基于消息队列的海量数据弹性写入方法，其特征在于包括以下步骤：

(1)信息收集者将需要写入的信息放入消息队列；

(2)消息队列对信息进行缓存；

(3)监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量；

(4)信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。

本发明在结合使用消息队列与批量写入的同时，基于消息队列实现了弹性计算，在保证海量数据快速写入的同时能有效节约计算资源。

附图说明

图1是本发明的目标跟踪方法功能模块图。

具体实施方式

如图1所示，本发明所述一种基于消息队列的海量数据弹性写入方法，包括信息收集者、信息写入者、消息队列、监控者四个模块。所述的消息收集者对需要写入的数据进行处理在必要时可通过网关构建集群之后将消息信息放入队列；所述信息写入者根据监控者的调度定时从消息队列中拉取信息写入到存储介质中；所述消息队列与一般消息队列无差异主要提供消息的缓存；所述监控者主要完成调度工作，控制各个消息写入者定时从队列中拉取数据，并对消息队列中的积压数据进行监控，若出积压量较大则创建新的写入者以增加写入频率，反之则关闭写入者实例。

本发明的具体实现方式如下：

步骤1，信息收集者将需要写入的信息放入消息队列。

步骤2，消息队列对信息进行缓存。

步骤3，监控者根据时间调度信息写入者从消息队列中拉取数据，并监控消息队列中的积压情况，调整信息写入者的实例数量。

步骤4，信息写入者根据监控者的调度命令从消息队列中拉取数据并写入存储介质。