[发明专利]一种支持关系模型和键-值结构的混合数据存储方法

说明书

本发明公开了一种支持关系模型和键‑值结构的混合数据存储方法。本方法为：1)根据待处理数据中的实体类别，在关系数据库与键‑值数据库中分别建立多个实体表；2)按照实体数据的属性将该待处理数据分为稳态属性数据和非稳态属性数据；3)将稳态属性数据存储到关系数据库中，将非稳态属性数据存储到键‑值数据库中；键‑值数据库中的实体表根据时序数据属性分为普通键‑值实体表和时序键‑值实体表，普通键‑值实体表的内容列族存储非稳态数据，关系列族记录关联实体间关联关系；时序键‑值实体表包括内容列族，记录同一时序索引下的非稳态数据。本发明适用于具有关联性的时序数据的管理、存储，大大提高了数据进行分布式计算的读取速度。

技术领域

本发明属于数据库领域，涉及一种支持关系模型和键-值结构的混合数据存储方法，本发明结合关系数据库和键-值数据库的优点，对混合数据模型进行管理。

背景技术

现实世界中，数据的属性，根据是否经常改变，可以分为稳态数据与非稳态数据；根据属性的类型，可以分为结构化数据与非结构化数据；根据属性是否与时间相关，可以分为时序数据与非时序数据。采用单一数据库形式存储具有多种不同的属性的数据，随着数据量增长，需要考虑较大的写入、读取速度，最大存储上线等问题。本发明提出一种支持关系模型和键-值结构的混合数据存储方法，解决这一问题。

关系模型：用二维表的形式表示实体和实体间联系的数据模型。关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数据概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。MySQL是一种开放源代码的关系型数据库管理系统，由于性能高、成本低、可靠性好，已经成为最流行的开源关系型数据库。

键-值结构是Key-Value的简称。Key-Value就是每次存储一个数据时，是根据Key进行索引存储的。键-值数据库是指基于键-值结构的数据，是最近新型的NoSQL数据库的一种类型。NoSQL(Not Only SQL)，泛指非关系型的数据库。NoSQL数据库适合数据模型简单、需要更强灵活性的IT系统、并且不需要高度的数据一致性。键-值数据库，主要使用哈希结构，表中通过特定的键值指向多个列。这些列是由列家族(列族)来安排的。HBase是Apache的Hadoop项目中的子项目，是一个分布式开源键-值数据库，在工业界和学术界都有了较好的应用效果。

交易数据，是指资金交易明细、银行卡号、开户人信息等交易数据，还包括网上银行交易数据等其他交易的数据内容。交易数据，可以从不同银行、金融机构等数据源获取，具有数据格式不一致、数据类型繁杂、非结构化数据较多等特点，并且还隐藏着较多的关联关系。单独采用关系型数据库，不能有效解决大量的非结构化数据的存储和数据的并行计算问题；单独采用列存储数据库，不能有效处理实体间的关联关系。

发明内容

针对上述问题，本发明采用关系型模型和键-值结构结合的方法，提出了一种支持关系模型和键-值结构的混合数据存储方法，适用于具有关联性的时序数据，本发明不仅适用于数据的管理、存储，还提高了数据进行分布式计算的读取速度。本发明不仅可以单独作为完整数据库使用，还可以扩展为大型系统中部分的核心部分，提高数据管理质量。

本发明采用的技术方案如下：

一种支持关系模型和键-值结构的混合数据存储方法，其步骤为：

1)根据待处理数据中的实体类别，在关系数据库与键-值数据库中分别建立多个实体表；

2)按照实体数据的属性将该待处理数据分为稳态属性数据和非稳态属性数据；

3)将稳态属性数据存储到关系数据库中；其中，实体类别i的稳态属性数据存储到关系数据库中该实体类别i对应的实体表i中；