[发明专利]流程数据的内存存取方法

说明书

技术领域

本发明涉及工业实时数据库，尤其是涉及实时数据库的流程数据的内存存取方法。

背景技术

实时数据库(Real Time Data Base，RTDB)用于采集装置的运行数据，掌握装置的运行状况，并对生产过程的关键数据进行监控和分析，对出现的问题进行及时处理，对历史数据进行科学分析，使生产运行状态平稳，物料供应平衡，减少单耗，提高经济效益，降低成本。

目前少数美国公司垄断着工业实时数据库领域。他们的产品价格昂贵，通常只针对大型巨型企业，中等规模企业所需要的实时数据库产品报价可能要上百万人民币，高额的配置成本成为了过程控制自动化与信息化的一道门槛，制约了国内中小型企业的发展。

图1示出工业实时数据库的数据处理流程。参照图1所示，来自数据源10的数据首先在压缩过滤器20进行过滤，然后送入缓存结构30，当存档时机到来时，数据将存入到历史数据库40中，持久地保持。其中缓存结构30是使用计算机的内存实现，而历史数据库40通常以计算机的硬盘实现。

传统的实时数据库厂商都把主要精力放在如何提高数据压缩率和减少存储空间上，对于数据在内存中的组织都没有注重。这种处理方式将更多任务留在持久化时再做，为了有效的利用硬盘性能，在写入数据时需要一定的优化。同时由于内存缓冲区结构简单，造成对内存中历史数据的检索存在一定困难，效率不高。例如美国OSI Software公司PI(Plant Information System)系统是把压缩过的重要数据放入高速缓存(cache)中，该高速缓存在内存中以内存Buffer实现，并没有对数据进行归类处理。这么做看似简化了操作，提高了吞吐量，但是在写入硬盘过程中，需要大量的CPU干预。持久化过程如果不进行优化会造成频繁的硬盘请求，而优化过程实际上又降低了系统的吞吐能力。

在美国艾斯本(Aspen Tech)公司的Info Plus系统中，历史数据以记录结构存储在内存中，每个记录结构属于特定的类或族。这种做法相比PI系统的高速缓存(cache)存储方式，尽管需要更多的CPU处理时间，而且会降低系统吞吐量，但其客户化的数据结构将满足进一步应用的请求，而且更容易嵌入数据处理进程(如时间标签，超限报警等)。然而，这种设计的存储模型仍然不是结构化的，这就造成数据持久化时依旧需要干预，进一步降低性能。

发明内容

本发明提供一种基于倒排表的流程数据的内存存取方法，以解决现有内存存储结构存在的问题。

本发明为解决上述技术问题而采用的技术方案是提出一种流程数据的内存存取方法，包括以下步骤：

进行一初始化步骤，该初始化步骤在内存中建立映射表、倒排表头结构以及数据存储区域，该映射表记载每一数据源与一唯一ID的映射关系，该倒排表头结构记载每一数据源的ID、属性信息、以及数据队列指针，该数据存储区域以数据队列储存每一数据源的一个或多个数据项；

接收一数据项；

寻找产生该数据项的数据源所对应的ID；

如果该数据源没有对应的ID，则将该数据源映射到一新ID，并且为该数据源建立倒排表头结构体；

如果数据源有对应的ID，则使用对应的ID找到倒排表头结构体；

应用倒排表头结构体中记录的信息进行过滤和压缩，以决定是否存储数据项，如果存储数据项，则将数据项存入该数据存储区域中，如果不存储数据项，则丢弃数据项。

在本发明的一实施例中，该倒排表头结构包括多个头结构体，每一头结构体对应一数据源。

在本发明的一实施例中，每一该数据源的数据项占用的内存大小恒定。

在本发明的一实施例中，该数据队列指针记录该数据存储区域的起始指针和当前可用指针。

在本发明的一实施例中，上述方法还包括在倒排表头结构中维持快照存储，其记载每个数据源的最新数据项。

在本发明的一实施例中，上述方法还包括在倒排表头结构中维持压缩相关数据，其记载上述压缩流程中的临时数据项。

在本发明的一实施例中，上述方法还包括在持久化时，直接将该数据存储区域中的数据项队列写入硬盘。

本发明由于采用以上技术方案，使之与现有技术相比，可在系统启动时对内存进行结构化，从而有利于系统运行中对内存数据的检索，并使得持久化时只需将内存数据直接写入硬盘而无需经过归类和优化，因此，本发明可以达到更高的吞吐量。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：