[发明专利]一种多维数据查询分析的优化方法及其系统

说明书

本发明涉及一种多维数据查询分析的优化方法及其系统，该方法包括获取SQL语句；对SQL语句进行分析拼装处理，获取新SQL语句；根据新SQL语句进行事务管理，连接至对应的数据库；对数据库内的数据聚合，并返回聚合的数据。本发明利用Rolap多维引擎在大数据量查询过程中的postgresql列存储技术，对新SQL语句进行分析转译以及数据的聚合，利用列存储外部表的数据安装字段按列分开且分文件单独存储，查询时在没有索引的情况下，只需要遍历对应列的数据大大减少数据需要遍历的数据量，可对数据压缩减少占用存储空间，实现解决传统的关系型数据库查询数据的瓶颈，提升查询效率，满足高并发读写需求，具备高扩张性及可用性。

技术领域

本发明涉及数据处理方法，更具体地说是指一种多维数据查询分析的优化方法及其系统。

背景技术

目前大数据查询分析的过程一般基于行存储关系型数据库进行，对于关系型数据库而言，其是指采用了关系模型来组织数据的数据库，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织，二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解，因此关系型数据库具有容易理解的优点；通用的SQL语言使得操作关系型数据库非常方便，因此关系型数据库具有使用方便的优点；关系型数据库具有丰富的完整性，实体完整性、参照完整性和用户定义的完整性，大大减低了数据冗余和数据不一致的概率。

但是，目前的关系型数据库在使用过程中，存在一些瓶颈：网站的用户并发性非常高，往往达到每秒上万次读写请求，对于传统关系型数据库来说，硬盘I/O是一个很大的瓶颈；网站每天产生的数据量是巨大的，对于关系型数据库来说，在一张包含海量数据的表中查询，效率是非常低的；在基于web的结构当中，数据库是最难进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的时候，数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移。对于网站而言，关系型数据库的事务一致性、读写实时性以及复杂SQL对网站而言，并无用处，在关系型数据库中，导致性能欠佳的最主要原因是多表的关联查询，以及复杂的数据分析类型的复杂SQL报表查询。

因此，有必要设计一种多维数据查询分析的优化方法，实现解决传统的关系型数据库查询数据的瓶颈，提升查询效率，且满足高并发读写需求，具备高扩张性以及可用性。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种多维数据查询分析的优化方法及其系统。

为实现上述目的，本发明采用以下技术方案：一种多维数据查询分析的优化方法，所述方法包括：

获取SQL语句；

对所述SQL语句进行分析拼装处理，获取新SQL语句；

根据新SQL语句进行事务管理，连接至对应的数据库；

对数据库内的数据聚合，并返回聚合的数据。

其进一步技术方案为：获取SQL语句的步骤，包括以下具体步骤：

获取查询指令；

将所述查询指令转换为SQL语句。

其进一步技术方案为：对所述SQL语句进行分析拼装处理，获取新SQL语句的步骤，包括以下具体步骤：

分析SQL语句，获取基本表信息；

根据基本表信息获取基本表属性，形成数据库表信息；

判断所述基本表属性是否为列存储外部表；

若否，则进入结束步骤；