[发明专利]一种电力系统实时数据库内存管理方法

说明书

技术领域

本发明属于实时数据库领域，尤其是电力系统的数据量极为庞大的实时数据库的内存管理方法。

背景技术

实时数据库是数据库技术结合实时处理技术产生的，在电力系统领域，随着调度自动化水平的不断提高以及计算机监控系统的不断发展，系统采集的数据规模越来越大。实时数据库管理系统不仅需要实时存储海量的采集数据，而且需要为企业的生产管理和调度、数据分析、决策支持提供多种数据管理功能。针对电力系统这一特定应用场景，实时数据库需要满足电力系统海量信息存储的需求，实时处理性能，在普通PC机上的数据提交吞吐率能达到每秒百万事件以上，需要充分挖掘现代处理器技术、操作系统技术、存储器技术和网络通讯技术的潜力。本发明主要研究实时数据库的内存管理技术，使实时数据库的数据处理能力能够达到每秒百万事件以上，结合虚拟内存和堆空间内存管理方法的优点，通过这种特殊的内存管理方法，实时数据库能够合理地分配和使用内存资源，提高计算机资源的利用率。

发明内容

本发明的目的是提出一种虚拟内存和堆空间内存管理方法，该方法针对电力系统海量、实时、高频的数据地采集、处理并及时作出正确响应的特定需求，保证了实时数据库数据的高效存储和检索。

本发明所要解决的技术问题是：内存与海量实时数据的矛盾，提供一种实时数据库虚拟内存管理技术方法，实现分布式实时数据库的高效存储和检索。

本发明技术方案如下：

步骤1、访问数据，虚拟内存管理机制首先判断数据所在的内存块是否在内存中，在内存中，进入步骤2；不在内存中，进入步骤3；

步骤2、直接通过内存地址进行访问；

步骤3、判断数据是否在磁盘文件中，在磁盘文件中进入步骤4；不在磁盘文件中，访问违例；

步骤4、在磁盘文件中，先把磁盘中数据块加载到内存，然后再进行访问。

引用堆空间内存管理，主要包括以下步骤：1）一次申请比较大的内存块；（2）对小内存的申请在大的内存块中进行预分配；3）对不用的内存进行回收。

本发明方法的有益效果是，能够针对特定的应用场景对内存进行合理分配，把要处理的海量数据文件进行分块，只把需要的那部分数据放入内存，大大减少了内存的压力；同时对临时小量数据的内存也进行分块管理并且通过预分配机制使计算机的物理内存得到充分的利用。

附图说明

图1 实时数据库虚拟内存机制。

图2 实时数据库堆空间管理机制。

图3为实时数据库通过虚拟内存管理访问数据的流程。

具体实施方式

下面说明本发明的优选实施例。

把磁盘中的文件按一定的大小块进行划分，在需要利用某一块磁盘空间的时候，通过内存映射的方式映射到内存中，并且按照实时数据库的虚拟内存管理机制对映射到内存中的块进行管理，如果内存中的映射块超过设定的上限，可以按照一定的算法比如最近最久未使用算法将空闲的数据块换出到磁盘以得到更多空闲内存供使用。

1.  对持久化数据的内存管理方案：

技术方案所依据的原理 : win32访问虚拟内存时的处理流程

    当数据已经在物理内存中时，虚拟内存管理器只需将指向该数据的虚拟地址映射为物理地址指针，即可访问到物理内存中的真正数据。这不涉及磁盘IO，速度快。

当第一次访问一段刚刚提交的内存中的数据时，因为并没有真正的物理内存分配给它。

或者该数据以前已被访问过，但被虚拟内存管理器置换出了内存。此时会引发缺页错误，虚拟内存管理器会先检测此数据是否在调页文件中已有备份空间，有的话，就在物理内存中找到合适的页，并将存放在磁盘的备份数据置换进物理内存。

     虚拟内存管理器首先检查当前物理内存是否有空闲页，如果有，直接使用，否则，根据调页算法首先选出某个页，检查此页状态，如果此页自上次调入尚未被修改，则直接使用，否则要先将此页内容写道调页文件中与此页相对应的备份页中，并将此页标为空闲页。

    此时，有了一个空闲页可以使用，虚拟内存管理器会再次检测，此数据是否刚被申请且第一次访问，直接清0，不是的话，需要将调页文件中该页的备份页读入，并将此页改为活动页。此时数据已在物理内存中，通过虚拟地址映射，可以直接访问。