[发明专利]一种数据混合存储结构、数据存储查询方法、终端及介质

说明书

本发明属于数据库技术领域，具体涉及一种数据混合存储结构、数据存储查询方法、终端及介质，包括N个存储副本，所述N个存储副本包括N₁个行式存储副本和N₂个列式存储副本；N＝N₁+N₂；N₁＝N×(1‑ω)；N₂＝N×ω；ω∈[0，1]；其中，N、N₁、N₂均为正整数，ω为系统偏向参数。本发明无需做OLTP和OLAP的访问折中，将行式和列式两种存储结构有机地结合在一起，充分发挥各自的优势；充分利用了副本，提高了副本的利用率和灵活性。

技术领域

本发明属于数据库技术领域，具体涉及一种数据混合存储结构、数据存储查询方法、终端及介质。

背景技术

数据库，广泛地应用于各种应用程序，SQL(结构化查询语言)是执行查询最常用的语言。传统RDBMS(关系型数据库管理系统)以行为单位做数据存储(如图1所示)，列式存储数据库以列为单位做数据存储(如图2所示)。行式存储适合于OLTP(联机事务处理)系统，而列式存储适合于OLAP(联机分析处理)系统。它们各自有各自的优缺点，但却无法统一：行式存储适合随机的增删改查，但不适合大规模的扫描；列式存储非常适合大规模的扫描，但不适于随机的增删改查。传统的企业IT系统需要两套不同系统:OLTP处理业务；OLAP处理报表商业智能。业务数据需要通过ETL搬移到OLAP系统中进行分析处理。数据搬移和冗余较大。

随着HTAP系统的兴起，对存储系统提出了更高的要求，即同一个存储系统即支持高速的大规模数据扫描，又可以高效地进行随机读写，因而出现了有所改进的存储方案。例如Kudu，Kudu提供了一个行列混合存储方案，是一种设计的折中，这种设计更加偏向于列式存储，这种折中的设计导致其在测试结果中证明拥有良好的扫描特性，但随机读写性能则较差。例如PAX，PAX同样是一种设计的折中，其列式性能和行式性能均无法和纯粹的列式系统以及行式系统相比。

大数据时代新技术不断出现。以Apache Hadoop为代表，众多的NoSQL方案也不断涌现。这些新型系统为了提高系统的处理能力都采用了大规模分布式结构。由此带来的问题就是数据的高可用性受到威胁，因为硬件故障率会随着节点数的增加而显著增高，为了保证数据的可靠性，所有这些系统都采用了多副本，即所有的数据都拥有N个副本，保存在不同的机器节点上。但这N个副本都采用完全相同的存储模式，没有充分利用副本，降低了副本的利用率和灵活性。

发明内容

针对现有技术中的缺陷，本发明提供了一种数据混合存储结构、数据存储查询方法、终端及介质，本发明无需做OLTP和OLAP的访问折中，将行式和列式两种存储结构有机地结合在一起，充分发挥各自的优势；充分利用了副本，提高了副本的利用率和灵活性。

第一方面，本发明提供了一种数据混合存储结构，包括N个存储副本，所述N个存储副本包括N₁个行式存储副本和N₂个列式存储副本；

N＝N₁+N₂；

N₁＝N×(1-ω)；

N₂＝N×ω；

ω∈[0，1]；

其中，N、N₁、N₂均为正整数，ω为系统偏向参数。

第二方面，本发明提供了一种数据存储查询方法，包括以下步骤：

S1，根据设置的系统偏向参数，创建具有数据混合存储结构的数据表；

S2，获取写请求数据，将写请求数据写入数据表中的行式存储副本和列式存储副本；