[发明专利]一种系统及基于其的数据处理方法

说明书

本发明提供了一种系统及基于其的数据处理方法，该系统包括：第一类型数据库、第二类型数据库和数据类型转换器。其中，所述第一类型数据库采用第一类型存储模式，所述第二类型数据库采用第二类型存储模式。在所述第一类型数据库缓存的第一类型数据达到设定阈值时，所述数据类型转换器将所述设定阈值的第一类型数据，转换成第二类型数据；其中，所述第一类型数据为采用所述第一类型存储模式生成的数据，所述第二类型数据为采用所述第二类型存储模式生成的数据。缩减数据库准备时长，且第二类型数据库能够对第一类型数据库实时产生的第一类型数据进行分析，满足实时性需求。

技术领域

本发明涉及计算机技术领域，尤其涉及一种系统及基于其的数据处理方法。

背景技术

当今的数据处理大致可以分成两大类：联机事务处理(OLTP，也叫事务型数据库)、联机分析处理(OLAP，也叫分析型数据库)。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易、市场日常交易等。传统的关系型数据库，采用行式存储法(Row-based)。这种行式存储模式，可以一次存取多行，易于支持数据库的大规模并发操作，主要的操作是增删改。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。列式存储(Column-based)是相对于行式存储来说的，存在于OLAP数据库中，数据是按照列为基础的逻辑存储单元进行存储的，方便相同字段大规模数据的抓取。

分析型数据库(OLAP)的业务是从事务型数据库(OLTP)内的业务进行提取的。由于OLTP的存储格式与OLAP的格式不同，为提高OLAP的效率，需要格式转换。现有技术中，为了不中断中央处理器处理事务型数据库接收的请求，通常都是在空闲时段进行行列转换(具体为从复制OLTP全表回写生成列式存储格式)，之后将业务数据离线导入到基于列存的分析型数据库(OLAP)中，进行后续的分析。然而，这种数据格式变换方式大约占分析型数据库(OLAP)进行决策分析整个过程的1/3时间。且这种模式的实时性很差，一般用于分析离线数据，如果有需求要实时分析在业务系统中实时产生的数据时，这种模式就无法满足需求。

发明内容

本发明提供了一种系统及基于其的数据处理方法，缩减数据库准备时长，且第二类型数据库能够对第一类型数据库实时产生的第一类型数据进行分析，满足实时性需求。

第一方面，本发明提供了一种系统，该系统包括：第一类型数据库、第二类型数据库和数据类型转换器。其中，所述第一类型数据库采用第一类型存储模式，所述第二类型数据库采用第二类型存储模式。在所述第一类型数据库缓存的第一类型数据达到设定阈值时，所述数据类型转换器将所述设定阈值的第一类型数据，转换成第二类型数据；其中，所述第一类型数据为采用所述第一类型存储模式生成的数据，所述第二类型数据为采用所述第二类型存储模式生成的数据。

在上述的方案中，通过增加设置数据类型转换器，在不中断中央处理器处理第一类型数据库接收的请求的过程的情况下，在缓存的第一类型数据的数据量每达到设定阈值，即触发数据类型转换器将该设定阈值的第一类型数据转换成第二类型数据。相比现有从复制OLTP全表回写生成列式存储格式的数据类型转换方式，本申请的方式能够在第一类型数据库工作时段，采用专用硬件模块(数据类型转换器)分时分段进行数据类型转换(其中的分时指的是先后不同时间产生第一类型数据，其中的分段是指产生的第一类型数据的数据量每达到设定阈值，即触发进行数据类型转换)的方式，能够将第一类型数据库产生的新的第一类型数据实时数据类型转换后透传给第二类型数据库，以使第二类型数据库接收的请求时，能够读取第二类型数据，能够满足实时分析在系统中实时产生的数据需求，改善系统的实时分析性能。即边由第一类型数据库准备第一类型数据，边进行数据类型转换及存储，这样大大缩减数据库准备时长，且第二类型数据库能够对第一类型数据库实时产生的第一类型数据进行分析，满足实时性需求。