[发明专利]基于元数据的结构化数据存储方法

说明书

技术领域：

本发明涉及内容管理领域，具体讲是一种基于元数据的结构化数据存储方法。

背景技术：

在当今信息爆炸的时代，信息每天都在以惊人的速度增长。有统计表明，来自交易中的数据每年增长的速度达到61％，而其他各种信息的每年增长率甚至超过92％。而信息爆炸的背后，我们面临的巨大挑战是如何有序地存储、管理并利用这些信息，内容按照检索视图可以划分成结构化数据、非结构化数据，结构化数据包括关系型数据库数据，结构化数据文件。

对于结构化数据，由于基于二维表或者二维文件，因此检索较为方便，应用较多，并且目前非结构化数据一般是转成结构化数据进行存储。现有的基于元数据的结构化数据存储方法一般无法处理海量数据，故数据量较大时，检索的效率低。

发明内容：

本发明要解决的一个技术问题是，克服现有技术的缺陷，提供一种能够处理海量数据，检索效率高的基于元数据的结构化数据存储方法。

本发明的技术解决方案是，提供一种基于元数据的结构化数据存储方法，它包括以下步骤：

(1)、创建元数据模型，并设定结构化数据存储的分表规则；

(2)、进行数据存储，将结构化数据索引依据分表规则分类存储在数据库中的每个表中；

(3)、进行数据检索时，先根据分表规则定位到该结构化数据索引所在的表，再在所对应的表中通过该结构化数据索引检索该数据。

采用这种基于元数据的结构化数据存储方法，系统会自动按照设定的规则对结构化数据在数据库中的数据进行分表存储，这样当遇到海量数据时，可以保证每个数据库中的结构化数据索引的数据量不会超出服务器的负载，能够用来存储海量的数据，并且检索时，先定位到该结构化数据索引所在的表，再在所对应的表中通过该结构化数据索引检索该数据。检索的数据量少，检索效率较高。

具体实施方式：

下面结合具体实施方式对本发明作进一步详细的说明。

本发明提供一种基于元数据的结构化数据存储方法，它包括以下步骤：

(1)、创建元数据模型，并设定结构化数据存储的分表规则；所述分表规则根据要求由开发者设定，如：按年份、月份等规则进行分年或者分月存储数据。

(2)、进行数据存储，将结构化数据索引依据分表规则分类存储在数据库中的每个表中；

结构化数据存储是依靠结构化数据索引的，结构化数据索引可按年、或按月进行分表存储，

(3)、进行数据检索时，先根据分表规则定位到该结构化数据索引所在的表，再在所对应的表中通过该结构化数据索引检索该数据。

下面给出一个具体实施例来说明，

如：国内某银行每天会计业务200W笔，大约有500W张影像，每张影像在数据库中都有一条索引记录，这样每个月就会产生1亿多索引记录，这样几个月数据存储到一张表中，数据库的压力是吃不消的。

故此家银行进行数据存储时，设置了按月进行分表的分表规则，这样存储时，对几个月数据进行分月存储，一个月的数据存储在一张表中，保证了每张表中只有1亿条数据，这样检索时，先根据月份找到该月份的表，然后在该月份的表中进行检索，降低了数据库的压力，提高了检索效率。