[发明专利]高效支持混合分布式交易和分析型查询的表存储结构构造方法

说明书

本发明公开了一种高效支持混合分布式交易和分析型查询的表存储结构构造方法。该方法首先创建基于行存的表存储结构，该结构包括键Key和值Value两个部分，其中键部分用于记录表与存入数据相关的数据基础信息，保存数据属性，包括TID、RID、CFID、Row ID、Command ID、Timestamp、Delete Mark等，这些信息在键结构上按顺序排列且占用空间大小固定，除此之外还包括自定义信息；值部分则用于有序地记录和保存数据。创建表时若不指定主键会自动生成隐藏主键，数据进行增删改查时，事务状态为Pending，接着确定事务合法性，按规则对数据进行不同操作。该表存储结构保证了查询快速准确，保证实时交易。

技术领域

本发明属于OLAP类型的分布式数据库设计与应用领域，尤其涉及一种高效支持混合分布式交易和分析型查询的表存储结构构造方法。

背景技术

目前银行数据仓库批量计算兼顾查询交易的应用场景，具体场景为通过三年的核心交易流水识别是否存在电信诈骗黑名单，黑名单库数据量约达到1T，因为批量计算的数据仓库不适合直连交易场景，为了减少数据在系统之间移动，外部机构可以通过应用接口直连数据接口进行指定时间端的黑名单交易记录，分布式OLAP数据库一般采用列存储表设计保证批量计算的计算效率，但不适合低延时实时交易查询。目前的应用场景一般通过数据仓库批量计算加工生成目标表，然后将目标表导入到支持OLTP的数据库供应用交易查询，这样做的缺点主要有三点，一是增加了技术栈的维护复杂度，二是增加了数据导入导出的数据交换工作，三是降低了数据的时效性。

发明内容

本发明的目的在于针对现有技术的不足，提出一种高效支持混合分布式交易和分析型查询的表存储结构构造方法。

本发明的目的是通过以下技术方案来实现的：一种高效支持混合分布式交易和分析型查询的表存储结构构造方法，包括：

创建基于行存的表存储结构，该结构包括键(Key)和值(Value)两个部分；

构建表存储结构中键部分：键部分用于记录表与存入数据相关的数据基础信息，保存数据属性，包括：TID、RID、CFID、Row ID、Command ID、Timestamp、Delete Mark，其中TID表示键所在表的地址；RID表示所要存储数据列地址；CFID(cfid column family id)表示列簇的id号；Row ID表示所要存储数据行地址；Command ID表示记录一个事务中产生写操作 (例如DDL,DML)的SQL行为；Timestamp表示时间戳；Delete Mark表示数据删除的状态；这些信息在键结构上按顺序排列且占用空间大小固定；还包括自定义信息：KeyColumns(Fixed Width)、Key Column(Var Width)，其中Key Columns(Fixed Width)表示键列(固定长度数据类型)；Key Column(Var Width)表示键列(变长数据类型)；

构建表存储结构中值部分：值部分则用于有序地记录和保存数据，主要由ValueColumns(Fixed Width)、IsNulls、Variable Width Offsets、Value Columns(VariableWidth)四部分组成，其中Value Columns(Fixed Width)按顺序排列其中数据，从Val Col 1到Val Col N；IsNulls 表示数据是否为空；Variable Width Offsets表示可变宽度补偿，是Value Columns(Variable Width) 的初始标志；Value Columns(Variable Width)接着Value Columns(Fixed Width)继续按顺序排列数据，从Val Col N+1到Val Col N+M。

所述表存储结构存储数据的规则如下：