[发明专利]用存储器内列式查询处理启用和集成存储器内半结构化数据和文本文档搜索的技术

说明书

“混合派生的高速缓存”以存储器内镜像形式存储半结构化数据或非结构化文本数据，并以诸如列为主的格式之类的另一种形式存储列。混合派生的高速缓存可以以列为主的格式高速缓存标量类型列。半结构化数据或非结构化文本数据的存储器内镜像形式的结构使得能够访问和/或增强访问，以执行基于路径和/或基于文本的查询操作。混合派生的高速缓存改善了用于执行查询操作的高速缓存包含。存储器内镜像形式被用于通过使用无效向量来以事务一致的方式计算查询，该无效向量被用于确定何时检索半结构化数据或非结构化文本数据的事务一致的持久形式以代替存储器内形式。

技术领域

本发明涉及数据库系统，并且更具体而言，涉及存储在数据库系统的列中的半结构化数据的存储器内高速缓存。

背景技术

显著改善对象-关系数据库系统中查询的计算的一种方式是将数据库表预加载并保留在派生的高速缓存中。在派生的高速缓存中，以持久形式存储的数据库表的至少一部分的存储器内版本可以以列为主的格式(column-major format)镜像到数据库服务器的较低时延随机存取存储器(RAM)中。在列为主的格式中，列的列值中的一部分的表示存储在列向量中，该列向量在RAM中占据连续的地址范围。

出于若干原因，可以对列的存储器内列向量更快地执行涉及列的查询操作，诸如在列上的谓词评估和汇总。首先，列向量维持在较低时延的存储器中，在那里可以被更快地访问。第二，查询操作对其操作的列值的运行连续存储在存储器中列向量中。此外，列向量被压缩以减少存储列所需的存储器。字典压缩常常被用于压缩列向量。

字典压缩还可以被压缩列式算法利用，该压缩列式算法被优化以用于对压缩列向量执行查询操作，以进一步提高对列执行这种查询操作的速度。其它形式的压缩也可以被压缩列式算法利用。

例如，由Jesse Kamp等人于2014年7月21日提交并于2016年3月22日作为美国专利No.9,292,564发布的美国申请No.14/337,179“Mirroring,In Memory,Data From Disk ToImprove Query Performance”(“Mirroring申请”)中描述了派生的高速缓存的示例，其全部内容通过引用并入本文。

对于包含标量值(诸如整数和字符串)的列，实现压缩列式算法的益处。但是，包含半结构化数据(诸如XML(扩展标记语言)和JSON(JavaScript对象表示法))的列可能无法用压缩列式算法可以利用的方式以列为主的形式(column-major form)存储。

半结构化数据通常以持久形式存储在大型二进制对象(LOB)列中。在LOB列内，半结构化数据可以以各种半结构化数据格式存储，包括作为标记文本的主体，或者以为可压缩性和快速访问而结构化的专有格式存储。遗憾的是，对于标量列强有力地工作的压缩列式算法对这些半结构化数据格式无效。

此外，存在特定于半结构化数据的查询操作，诸如基于路径的查询操作。基于路径的操作不适合针对存储在列向量中的半结构化数据进行优化。

支持半结构化数据的数据库管理系统(DBMS)通常也将数据库数据存储在标量列中。由此类DBMS处理的查询可以引用半结构化和标量数据库数据两者。此类查询在本文中被称为混合格式查询。尽管混合格式查询要求对半结构化数据的访问，但是混合格式查询仍然受益于派生的列式高速缓存，因为执行查询的工作中的至少部分可以将派生的列式高速缓存用于标量列。对于要求访问半结构化数据的工作的一部分，这些DBMS使用对持久形式数据(PF数据)进行操作的传统查询操作。

能够存储和高效地访问半结构化数据变得越来越重要。本文描述的是用于在派生的高速缓存中维护半结构化数据以提高执行查询(包括混合格式查询)的速度的技术。

本部分中描述的方法是可以采用的方法，但不一定是先前已经设想或采用的方法。因此，除非另有指示，否则不应当仅由于将本节中所述的任何方法包括在本节中而将其假设为现有技术。

附图说明