[发明专利]基于服务器集群的并行实时数据库

说明书

技术领域

本发明涉及信息化的领域，尤其涉及一种基于服务器集群的并行实时数据库。

背景技术

随着全球信息化浪潮和计算机应用领域的不断拓展，如今数据库的应用已经从传统领域向新的领域发展，如数据通信、电话交换、电力调度等网络管理，电子银行事务、电子数据交换与电子商务、证券与股票交易，交通控制、雷达跟踪、武器制导、实时仿真、作战指挥等军事应用，自动存储、数据实时采集与分析监视等工程过程。这些应用活动具有很强的时间性，要求在规定的时刻和一定的时间内完成处理，而且又要大量共享和控制数据。同时，目前数据库中的数据量正在以惊人的速度增长，新一代数据库应用对数据库性能和可用性也提出了更高的要求。能否为越来越多的用户维持高事务吞吐量和低响应时间已成为衡量数据库管理系统（DBMS）性能的重要指标。近年来，随着工业控制领域自动化和智能化的高速发展，对工业实时数据的处理和存储能力的要求也在逐渐提高。为了缓解在数据处理的压力，并行实时数据库技术正逐步成为工业实时数据库的必须环节。相对于传统的工业控制领域，在自动化控制中的数据量更为庞大，数据的交互也更为频繁，需要实时数据库数据处理能够拥有更高实时性和并发性，同时能够较好的适应不同情况的工业实时数据。并行实时数据库技术研发是赢取工业大数据时代竞争的关键。

数据库技术在国外已经相对成熟，但核心技术主要被ORACLE、Apache Software Foundation、IBM、微软等互联网巨头所掌控，例如ORACL公司的Oracle 9i、Apache Software Foundation公司的HBase、IBM公司的DB2，微软的SQL Server；在国内，数据库技术起步较晚，部分企业以购买国外数据库服务来满足需求，一些中小型企业利用开源数据库进行再开发以满足需求，但现阶段大多国内企业自行开发数据库存在随着数据量增大操作速度变慢、服务器故障数据无法还原、已有的并行数据库硬件需求较高等缺点，导致国内实时数据库依然主要依靠国外数据服务商，成本高，且数据库后期维护困难、定制性开发受限，严重制约国内行业的发展。

现有技术的缺点：

1、传统数据库随着数据量增大操作速度变慢，且拓展性差；

2、传统数据库服务器故障数据无法还原，数据库容错能力较差；

3、传统数据库数据处理及时性不能满足大数据时代的要求；

4、国内已有并行数据库对硬件要求高，数据库建设成本过高。

发明内容

本发明主要解决的技术问题是提供一种基于服务器集群的并行实时数据库，针对传统数据库随着数据量增大操作速度变慢、服务器故障数据无法还原、市场已有的并行数据库硬件需求较高的缺点，开发基于服务器集群的并行实时数据库。只需两台以上的小型服务器即可安装该软件系统，随着数据量的增大，只需要增加新的服务器即可，降低了并行实时数据库对服务器等硬件设备的要求，将实时数据存储在内存，历史数据存储在磁盘，既可以以极快的速度对实时数据进行展示，又可以对大量的历史数据进行分析处理。

为解决上述技术问题，本发明采用的一个技术方案是：提供了一种基于服务器集群的并行实时数据库，包括客户端和数据库系统，所述的数据库系统包括访问层、数据层、访问层服务器和数据层服务器，所述的客户端通过调用数据库的修改方法、查询方法、实时数据存储方法和实时数据查询方法分别进行历史数据修改、历史数据查询、实时数据存储和实时数据查询，其中，所述的访问层服务器和数据层服务器中均设置有两台以上的小型服务器，利用数据分配平衡算法实现数据在各个服务器的平均分配。

在本发明一个较佳实施例中，所述的数据库的修改方法，将数据发送至数据库系统的访问层服务器，访问层通过数据的标示根据内置分配算法将数据分类，将不同分类的数据分发至数据库系统的数据层服务器，数据层服务器接收到数据后再根据内置分配算法将数据分别写入磁盘中对应的文件里。

在本发明一个较佳实施例中，所述的数据库的查询方法，将查询的参数发送至访问层服务器，访问层根据分配算法判断查询的数据存储在哪些数据层服务器上并向其发送命令，数据层服务器根据命令在对应文件中读取对应数据并返回至访问层，访问层将所有数据获取后返回给客户端。

在本发明一个较佳实施例中，所述的数据库的实时数据存储方法，将数据发送至访问层服务器，访问层根据分配算法将数据分类，将不同分类的数据分发至数据层服务器，数据层服务器将接收到的数据以固定的格式存储在内存中，且每隔一段时间将内存的数据映射在磁盘中，当服务器重启时将磁盘中的映射文件读入内存。