[发明专利]基于行列共存的HTAP数据库的数据处理方法及装置

说明书

本发明实施例提供了基于行列共存的HTAP数据库的数据处理方法及装置，根据磁盘数据的当前存储方式和推荐存储方式，调整存储布局策略。一方面，推荐存储方式为适于访问指令的数据存储方式，反映了访问指令对最佳数据存储方式的需求，另一方面，存储布局策略包括对同一磁盘数据既以行存储方式也以列存储方式存储，打破了OLAP和OLTP在资源层面的隔离，使得无论何种推荐存储方式的访问指令均能按需选择相应数据存储方式的磁盘数据，因此，根据推荐存储方式调整的存储布局策略能够更好地满足访问指令的需求，提高了以推荐存储方式处理访问指令的概率，有利于避免以非推荐存储方式处理指令时响应时间长，或者计算量大、运算成本高的问题。

技术领域

本发明涉及分布式数据库版本控制领域，尤其是涉及基于行列共存的HTAP数据库的数据处理方法及装置。

背景技术

随着信息通讯日益发达，数据规模日趋庞大，数据库的使用场景日趋多样，随之带来的数据库使用需求也逐渐复杂。在数据分析行业，数据在创建后的第一时间里价值最高，使用最频繁；随着时间的推移，数据的价值会逐步降低，而有时仍需要对以往收集到的庞大数据进行运算分析。为了能够综合利用不同价值的数据，人们提出了HTAP（HybridTransactional Analytical Processing，混合交易分析处理）以解决OLTP（On-LineTransaction Processing，联机事务处理）和OLAP（On-Line Analytical Processing，联机分析处理）之间的隔阂，使基于HTAP的数据库既可以适用于多事务型数据库场景，也可以适用于分析型数据库场景。但OLTP、OLAP 两者对资源的使用特点不同（OLTP以行存储方式存储数据，行存储方式对多事务型指令响应快，语法简单；OLAP按列存储方式存储，列存储方式对分析型指令运算时能降低系统I/O开销，优化运算速度），需要在资源层面做好隔离工作，避免相互影响。

目前业界比较常见的做法是少量频繁查询数据使用传统行存储模式，其余数据采取列存储模式，此做法涵盖了OLTP、OLAP的优点。但是由于行存储模式和列存储模式在资源层面需要做好隔离工作，对基于HTAP的数据库中的数据进行处理时，只能以数据当前实际的存储方式访问数据。例如，多事务型指令基于指令本身的特点对行存储模式的数据响应更快，当多事务型指令需要调用的数据当前以列存储模式存储时，只能从列存储模式存储的数据中调用相关数据，将会耗费较长的时间进行数据的查找，大大降低了对多事务型指令的响应速度。分析型指令基于指令本身的特点调用列存储模式的数据时能够降低系统I/O开销，优化运算速度，当分析型指令需要调用的数据当前以行存储模式存储时，只能从行存储模式存储的数据中调用相关数据，这将增加系统I/O开销，大大降低运算速度。

可见，虽然业界普遍做法能够有效综合OLAP、OLTP两者的优势，但存在一些场景对指令的响应仍然需要较长的响应时间，或者需要庞大的计算量，并带来高额运算成本。

发明内容

本发明实施例提供了基于行列共存的HTAP数据库的数据处理方法及装置，用于解决现有技术中的存在一些场景对指令的响应仍然需要较长的响应时间，或者需要庞大的计算量，并带来高额运算成本的问题。

针对以上技术问题，第一方面，本发明实施例提供了一种基于行列共存的HTAP数据库的数据处理方法，包括：

针对数据库的磁盘中存储的磁盘数据，获取所述磁盘数据被访问时通过访问指令确定的、适于处理所述访问指令的数据存储方式，作为推荐存储方式；所述数据存储方式包括行存储方式和列存储方式；

根据所述磁盘数据的当前存储方式和所述磁盘数据的推荐存储方式，调整所述磁盘数据的存储布局策略；其中，所述存储布局策略包括对所述磁盘数据以行存储方式存储，同时对所述磁盘数据以列存储方式存储

第二方面，本发明实施例提供了一种基于行列共存的HTAP数据库的数据处理装置，包括：