[发明专利]一种工业数据存储读取方法及其系统

说明书

技术领域

本发明涉及一种工业数据存储技术

背景技术

在工业领域，如电力、油气、煤矿、交通等领域中需要进行大量的数据采集，由于工业领域的场站通常分布在全国各个地区，从而需要从各个地区的采集点进行数据采集，并且需要保留大量数据的历史记录。

工业数据来源于日常的工业生产或其相关数据，一个工业数据对应生产中的一个物理点，即采集点，如某一条生产线的累计产量、某一个检测点温度等。工业数据是一段连续的量，其存储的数据都带有时间戳。工业数据具有明显的时间特性，每个工业数据中包含一时间戳，其结构可以用VQT(Value、Quality、Timestamp，数据值、质量码、时间戳)来表示。时间戳是进行工业数据查询的关键条件，最常见的是需要查询某一个或多个采集点某一段时间内的数据。

同时工业数据是不断产生的，具有海量数据的特点。

这些海量工业数据的历史记录非常重要，会在不同的应用需求中使用到。每条历史记录都关联到对应数据的采集点，在存储这些历史记录时，需要存储其对应的采集点的信息。每个采集点通常有唯一的引用名称，唯一的属性标识propertyID，唯一的资源标识resourceID等属性。每条历史记录对应一个采集点的ID号，现有技术中一般使用8字节的数字表示，然而这些采集点数量通常不会超过4字节所能表示的数的范围。

由于每条历史记录中都需要保存相对应的采集点信息，这些无重复的信息将会占用大量的数据库容量。在工业领域中为了保证数据的实时性，无法使用关系型数据库，而使用文件型数据库。然而文件型数据库通常结构固定，不能像关系型数据库那样可以使用不同的数据表来表达关系，减少冗余。

为了节省存储空间，避免重复存储采集点信息，通常会把对应同一个采集点的数据组合在一起，只存储一次采集点信息，来避免重复保存相同的信息，尽量减少数据冗余。虽然该解决方法能避免一定的重复，但这样就破坏了历史记录时间的连续性，大大加重了工业数据查找的负担，而且使数据按一定条件组织在一起，也会加重工业数据库的负担，降低数据吞吐的速率。并且，用8字节表示4字节的数据范围这种冗余的情况也没有得到很好的解决。更严重的是当采集点属性发生变更时将会影响到已经入库的数据信息。

发明内容

本发明主要解决的技术问题是提供一种工业数据存储读取方法及其系统，使得在不影响工业实时数据库的吞吐效率的情况下，减少数据冗余，大大提高工业数据的存储能力，且工业采集点属性的任何修改都不会影响已存储的工业数据。

为了解决上述技术问题，本发明提供了一种工业数据存储及读取方法，包含以下步骤：

将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应；

建立一关系型数据库，保存该文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；

在该文件型数据库被打开时，将该关系型数据库中各工业数据的位置标识与采集点信息的映射关系导入内存；

在进行工业数据查询时，根据待查询采集点信息和该位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识；

从该文件型数据库中获取该位置标识所对应的存储位置的工业数据。

作为上述技术方案的改进，工业数据的位置标识与存储位置的对应关系为：工业数据的位置标识为顺序序列，工业数据的位置标识乘以工业数据存储的数据结构大小，为该工业数据的存储位置。

作为上述技术方案的改进，采集点信息至少包含以下之一或其组合：参数名、资源标识、和/或属性标识。

作为上述技术方案的改进，位置标识与采集点信息的映射关系至少包含以下之一或其组合：参数名与地址标识的映射关系、和/或属性标识与地址标识的映射关系。

作为上述技术方案的改进，该方法还可以包含以下步骤：

在新增采集点时，在参数名与地址标识的映射关系中查找是否存在对应该采集点的信息，如果不存在，则在该关系型数据库中添加该采集点信息；如果存在则代表修改文件型数据库中工业数据，获取进行修改的工业数据的位置标识，更新关系型数据库中该工业数据的位置标识及其对应的采集点信息。

本发明还提供了一种工业数据存储及读取系统，包含：

一文件型数据库，用于将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应；

一关系型数据库，用于保存该文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；