[发明专利]一种自适应性的高效处理海量数据入库的系统及方法

说明书

技术领域

本发明属于信息技术领域，具体涉及一种自适应性的高效处理海量数据入库的系统及方法，主要用于提高海量数据库入库性能。

背景技术

随着计算机和网络通信技术的飞速发展，企业要处理的数据爆炸式的增长，数据量都达到了TB级、PB级。在电信和互联网等行业里，数据接入、数据入库、数据应用是企业架构的重要组成部分。而数据接入、数据入库是产品前端部署，如何将接入数据高效、准确、及时入库是许多企业面对的难题。

按面向对象的不同，从数据接入的角度出发可以分为：主动和被动两种模式。主动方式，主动通过程序向数据库服务器发送数据。被动方式，被动等待数据入库服务器与之建立连接处理接入设备上数据。前者需要额外进行搬运程序开发和增加硬件中转服务器，后者只需数据库服务器与数据接入设备建立连接通道。

大多数企业应用后者，在部署时依据以往的测试结论及经验将所有数据接入设备根据数据库数量均匀分配，按照确定的配比数量，使数据接入设备与数据库固化形成相互独立的数据处理通道，提供高效、持续的数据处理能力，如图1所示。但实际数据在时间和空间分布上往往具有较大的波动性，随着数据压力的增大，这类系统的问题也逐渐显现，海量处理性能下降。经过一段时间应用后发现上述系统结构僵化、缺乏灵活性，随着骨干网技术飞快发展POS技术（Packet over SONET/SDH的缩写，这是一种利用SONET/SDH提供的高速传输通道直接传送IP数据包的技术）不断扩容及数据量的成倍增加，该配置方案已逐渐落后于系统数据处理的需求，僵化的固定配比和数据流路径面对复杂的应用环境显得力不从心。系统的负载越来越大,忙闲不均造成数据处理的压力在关键位置成倍增加，系统总体性能随之下降。对系统造成的性能瓶颈，往往超出用户能承受的范围。

发明内容

本发明的目的是针对上述问题，提供一种自适应性的高效处理海量数据入库的系统及方法，解决接入设备与数据库服务器固定入库配比无法及时处理TB级、PB级海量数据的问题，将数据入库配比活化，实现海量数据入库负载均衡，提高数据库入库性能。

为实现上述目的，本发明采用如下技术方案：

一种自适应性的高效处理海量数据入库的系统，包括数据接入设备和与其连接的数据库服务器，其特征在于，还包括监控装置和冗余数据库服务器；

所述监控装置连接所述数据接入设备，包括采集模块和自适应调度模块；所述采集模块负责采集并存储所述数据接入设备中的数据积压状况信息以及所述冗余数据库服务器的运行状态信息；所述自适应调度模块连接所述采集模块，负责根据采集的信息改变数据接入与数据入库配比，并向所述冗余数据库服务器发送任务调度指令；

所述冗余数据库服务器分别连接所述监控装置和所述数据接入设备，用于根据所述任务调度指令辅助所述数据库服务器进行数据入库及存储。

进一步地，所述采集模块包括采集器和存储器，分别用于实现信息的采集和存储。

进一步地，所述自适应调度模块包括：分析器，用于对所采集信息的特征值进行对比分析，判断其是否为有效数据，并改变数据接入与数据入库配比；规则库，用于根据用户业务需要设定入库性能指标，对是否需要所述冗余数据库服务器协助解决数据入库做出界定；调度器，用于根据改变后的数据接入与数据入库配比向所述冗余数据库服务器发送任务调度指令。

一种自适应性的高效处理海量数据入库的方法，适用于上述系统，其步骤包括：

1）设置与数据接入设备连接的监控装置，以及分别连接所述数据接入设备和所述监控装置的冗余数据库服务器；

2）所述监控装置采集并存储所述数据接入设备中的数据积压状况信息以及所述冗余数据库服务器的运行状态信息，并根据采集的信息改变数据接入与数据入库配比，向所述冗余数据库服务器发送任务调度指令；

3）所述冗余数据库服务器根据所述任务调度指令辅助数据库服务器进行数据入库及存储。

进一步地，所述自适应调度模块对所采集信息的特征值进行对比分析，判断其是否为有效数据；并根据用户业务需要设定入库性能指标，对是否需要所述冗余数据库服务器协助解决数据入库做出界定。

进一步地，所述任务调度指令包括：执行命令，用于使所述冗余数据库服务器根据改变后的数据接入与数据入库配比辅助数据库服务器完成数据入库；停止命令，用于使所述冗余数据库服务器停止数据入库操作，恢复原始状态以便接收新的指令。