[发明专利]数据采集方法、装置、可读存储介质和电子装置

权利要求书

1.一种数据采集方法，其特征在于，包括：

从关系型数据库中获取关系型数据库元数据；

将获取的所述关系型数据库元数据输入数据仓库以生成数据仓库元数据；

根据所述数据仓库元数据生成数据仓库表，将所述数据仓库表发送至大数据平台，并根据所述数据仓库表建立所述关系型数据库与所述大数据平台之间的数据传输。

2.根据权利要求1所述的方法，其特征在于，将获取的所述关系型数据库元数据输入数据仓库以生成数据仓库元数据，包括：

获取所述数据仓库与所述关系型数据库之间的连接条件；

根据所述连接条件在所述数据仓库与所述关系型数据库之间进行数据交互，并建立所述关系型数据库元数据与对应的所述数据仓库元数据之间的映射；

根据所述映射，将所述关系型数据库元数据转化到所述数据仓库中，生成转化后的所述数据仓库元数据。

3.根据权利要求1所述的方法，其特征在于，根据所述数据仓库元数据生成数据仓库表，将所述数据仓库表发送至大数据平台，并根据所述数据仓库表建立所述关系型数据库与所述大数据平台之间的数据传输，包括：

根据所述数据仓库元数据生成数据仓库表，并对生成的所述数据仓库表进行权限控制；

在经过权限控制的所述数据仓库表中对所述关系型数据库进行谓词下推；

将经过谓词下推的所述关系型数据库的数据进行切分以形成数据块；

将所述数据块并行传输至所述大数据平台以建立所述关系型数据库与所述大数据平台之间的数据传输。

4.根据权利要求3所述的方法，其特征在于，对生成的所述数据仓库表进行权限控制，包括：

通过以下之一对所述数据仓库表进行赋权：在所述数据仓库中增加权限信息、将所述数据仓库与所述大数据平台相关联；

根据经过赋权的所述数据仓库表中的所述权限信息对所述数据仓库表的使用权限进行权限控制，和/或通过与所述大数据平台相关联的所述数据仓库表对所述大数据平台进行权限控制。

5.根据权利要求3所述的方法，其特征在于，在经过权限控制的所述数据仓库表中对所述关系型数据库进行谓词下推，包括：

获取对所述关系型数据库的外置筛选条件；

将获取的所述外置筛选条件进行存储。

6.根据权利要求3所述的方法，其特征在于，将经过谓词下推的所述关系型数据库的数据进行切分以形成数据块，包括：

将经过谓词下推的所述关系型数据库的数据至少按照以下之一类型对所述关系型数据库的主键和索引进行切分以形成数据块：数字类型、日期类型、时间戳类型。

7.根据权利要求3所述的方法，其特征在于，在将经过谓词下推的所述关系型数据库的数据进行切分形成数据块之后，还包括：

对所述数据仓库进行以下之一参数校验：切分字段的索引校验，权限校验，参数合理化校验。

8.一种数据采集装置，其特征在于，包括：

获取模块，用于从关系型数据库中获取关系型数据库元数据；

输入模块，用于将获取的所述关系型数据库元数据输入数据仓库以生成数据仓库元数据；

发送模块，用于根据所述数据仓库元数据生成数据仓库表，将所述数据仓库表发送至大数据平台，并根据所述数据仓库表建立所述关系型数据库与所述大数据平台之间的数据传输。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。