[发明专利]时序数据并发入库的方法和装置

说明书

本发明公开时序数据并发入库的方法，获取所述时序数据中同类型数据的唯一标识，预设数据处理器数量，根据所述数据处理器数量和所述同类型数据唯一标识确定与该类型数据对应的所述数据处理器的名称序号；创建下标与所述数据处理器名称序号相应的队列数组存储空间，分别设定队列深度与数组长度；所述各数据处理器接收与其数据类型一致的时序数据，解析获取所述时序数据中的各属性和值，并将所述属性和值依次存入所述队列数组相应下标的存储位置中；当所述队列数组中的队列达到设定深度时，触发数据库接口获取所述队列数组中的所有数据并进行入库操作。通过本发明可实现时序数据的高效入库。本发明还公开了时序数据并发入库的装置。

技术领域

本发明涉及数据处理领域，具体涉及一种时序数据并发入库的技术。

背景技术

所谓时序数据，即数据的产生具有时序性，且在进行传输、入库等一些列数据操作时均需要保持其时序性，例如电信系统中的告警数据、指标数据、性能数据等。

以告警数据为例，告警数据在传输过程中必须保证时序性，同一设备产生的告警先后顺序不能够打乱，如果告警数据不能保证时序性，会造成告警入库错误进而在后续使用过程中出现各种问题。在早期的设计中，告警数据从接收到处理，再到存储，都是采用单线程或者单一进程来实现，以保证其时序性。随着告警设备的不断增容扩大，数据量也越来越多，这种单一处理模式不能够满足现在系统的性能要求。带来的影响也越来越大。

现有的时序数据入库技术，大都采用单一进程处理。从MQ(消息队列)接收XML类型告警数据，通过对XML解析生成Key-Value键值对数据，存储到MAP缓存中。根据业务需要循环读取该MAP进行业务处理，然后根据处理的情况，将MAP数据组装成ODBC(开放数据库互连)可执行的SQL进行数据封装，调用DB驱动进行数据入库操作。

针对这种单一进程进行处理时序数据入库的技术，处理数据的能力极其低下。不能满足日益增长的数据量处理要求，随着数据量的迅速增大，其缺陷也越来越明显，首先单线程或单进程的处理方式造成数据入库效率低下，告警数量大时单线程或进程效率差导致数据堆积影响系统运转，波及其他业务受损；其次频繁操作数据库造成DB交互频繁，进而造成操作系统的I/O持续消耗；由于占用MAP内存，回收不及时导致操作系统消耗过大，基于上述原因采用单一进程对时序数据进行入库操作时，数据量越大效率越低，会对承载系统造成直接或间接的影响。

综上所述，能够高效完成时序数据入库的技术亟待出现。

发明内容

本发明提供一种时序数据并发入库的方法，所述方法包括：

获取所述时序数据中同类型数据的唯一标识，预设数据处理器数量，根据所述数据处理器数量和所述同类型数据唯一标识确定与该类型数据对应的所述数据处理器的名称序号；

创建下标与所述数据处理器名称序号相应的队列数组存储空间，分别设定队列深度与数组长度；

所述各数据处理器接收与其数据类型一致的时序数据，解析获取所述时序数据中的各属性和值，并将所述属性和值依次存入所述队列数组相应下标的存储位置中；

当所述队列数组中的队列达到设定深度时，触发数据库接口获取所述队列数组中的所有数据并进行入库操作。

优选的，所述方法还包括：

所述数据库接口完成所述数据入库操作后，清除所述队列数组中的所有数据，清除所述数据处理器的名称序号。

具体的，

将时序数据特征属性的名称进行组合计算其消息摘要码，所述消息摘要码相同的时序数据为同类型数据，所述消息摘要码为同类型数据的唯一标识；

对所述各类型数据消息摘要码取模，模数为所述数据处理器数量，取模的余数做为各类型数据对应的数据处理器名称序号。

优选的：