[发明专利]一种面向OLAP分析引擎的数据导入方法和系统

说明书

本发明提出了一种面向OLAP分析引擎的数据导入方法和系统。所述数据导入方法包括：利用目标表建立文件对应数据存储临时表；通过plugin:local‑file关联本地数据文件把文件数据分批读入到临时表；通过联邦查询方式，用insert into select语法把临时表数据写入到目标表中；对所述临时表数据写入到目标表中总的全过程进行异常数据监测。所述系统包括与所述方法步骤对应的模块。

技术领域

本发明提出了一种面向OLAP分析引擎的数据导入方法和系统，属于IT数据库技术领域。

背景技术

随着大数据的发展，市场对OLAP（联机分析处理）的需求越来越大。联邦查询可以实现多数据库的联合查询，P级数据的秒查询；但是针对数据载入方面还是有一定的缺失。现有的导入技术方式是利用insert into select 其他数据源进行导入。 这种方式存在的缺点是只能关联其他数据源进行导入，无法导入本地csv等文本文件。

发明内容

本发明提供了一种面向OLAP分析引擎的数据导入方法和系统，用以解决OLAP分析引擎本地csv等文本文件数据导入异常或无法导入的问题，以及，OLAP分析引擎原生导入大表性能慢的问题，所采取的技术方案如下：

一种面向OLAP分析引擎的数据导入方法，所述数据导入方法包括：

利用目标表建立文件对应数据存储临时表；

通过plugin:local-file关联本地数据文件把文件数据分批读入到临时表；

通过联邦查询方式，用insert into select语法把临时表数据写入到目标表中；

对所述临时表数据写入到目标表中总的全过程进行异常数据监测。

进一步地，所述临时表的结构和目标表的结构完全一致。

进一步地，当文件数据的数据量在1G以下时，采用单线程导入；当文件数据的数据量大于1G时，采用多线程并行导入。

进一步地，利用目标表建立文件对应数据存储临时表，包括：

启动OLAP引擎，对本地文件connecter进行加载；

用户执行导入本地文件数据sql；

通过insert into的目标表建立文件对应数据存储临时表。

进一步地，所述对所述临时表数据写入到目标表中总的全过程进行异常数据监测，包括：

实时监测临时表数据写入过程中是否出现异常数据；

当出现异常数据时，停止临时表数据写入动作，并将出现所述异常数据的实际情况记录到日志中；

在排除异常数据之后，按照最大尝试次数，重新尝试向所述目标表中写入监测临时表数据。其中，所述最大尝试次数为3次。

一种面向OLAP分析引擎的数据导入系统，所述数据导入系统包括：

临时表建立模块，用于利用目标表建立文件对应数据存储临时表；

读入模块，用于通过plugin:local-file关联本地数据文件把文件数据分批读入到临时表；

写入模块，用于通过联邦查询方式，用insert into select语法把临时表数据写入到目标表中；

监测模块，用于对所述临时表数据写入到目标表中总的全过程进行异常数据监测。

进一步地，所述临时表的结构和目标表的结构完全一致。

进一步地，当文件数据的数据量在1G以下时，采用单线程导入；当文件数据的数据量大于1G时，采用多线程并行导入。

进一步地，所述临时表建立模块包括：

启动模块，用于启动OLAP引擎，对本地文件connecter进行加载；

执行模块，用于用户执行导入本地文件数据sql；