[发明专利]基于大数据的数据入库方法、装置、存储介质和处理器

说明书

本申请提供了一种基于大数据的数据入库方法、装置、存储介质和处理器，该方法包括：采用分布式列存储数据库与分布式检索引擎建立基础存储数据库，分布式列存储数据库用于存储原始数据，分布式检索引擎用于存储原始数据的索引信息；根据基础存储数据库中的数据存储结构和数据存储格式，构建数据表；使用配置库的方式动态管理数据表；基于数据表进行数据入库。该方法通过采用分布式列存储数据库与分布式检索引擎建立基础存储数据库，实现了数据的快速检索和较大的数据吞吐量，使用规范的数据存储结构和数据存储格式构建数据表，进而通过配置库的方式管理动态管理数据表，实现数据的快速入库。

技术领域

本申请涉及大数据领域，具体而言，涉及一种基于大数据的数据入库方法、装置、存储介质和处理器。

背景技术

现有的大数据环境下的分布式列存储数据库(Hbase)和分布式数据检索引擎(ElasticSearch)对数据表结构没有限制，导致无法规范化数据存储结构，且自动识别生成的数据类型不够准确，基本无法使用动态生成的存储表，二者协调工作时，数据在搜索引擎以及数据库中存在多份，浪费存储资源。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种基于大数据的数据入库方法、装置、存储介质和处理器，以解决现有技术中数据入库效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于大数据的数据入库方法，包括：采用分布式列存储数据库与分布式检索引擎建立基础存储数据库，所述分布式列存储数据库用于存储原始数据，所述分布式检索引擎用于存储原始数据的索引信息；根据所述基础存储数据库中的数据存储结构和数据存储格式，构建数据表；使用配置库的方式动态管理所述数据表；基于所述数据表进行数据入库。

进一步地，根据所述基础存储数据库中的数据存储结构和数据存储方式，构建数据表，包括：将所述基础存储数据库中的数据存储格式调整为预定数据存储格式；根据所述预定数据存储格式将所述基础存储数据库中的所述数据存储结构调整为预定数据存储结构；根据所述预定数据存储结构和所述预定数据存储格式，构建所述数据表。

进一步地，根据所述预定数据存储格式将所述基础存储数据库中的所述数据存储结构调整为预定数据存储结构之前，根据所述基础存储数据库中的数据存储结构和数据存储方式，构建数据表，还包括：自动识别所述基础存储数据库中的所述预定数据存储格式。

进一步地，使用配置库的方式动态管理所述数据表，包括：采用所述配置库的xml的插件化功能，动态管理所述数据表。

进一步地，所述索引信息为所述原始数据的主键，所述主键是所述原始数据的唯一标识，所述主键由所述原始数据的生成日期、所述原始数据的编码值和所述原始数据的哈希值组成。

进一步地，所述预定数据存储格式包括至少以下之一：时间格式、年龄格式、姓名格式。

进一步地，所述数据存储结构包括至少以下之一：第一数据存储结构和第二数据存储结构，其中，所述第一数据存储结构为人的信息所对应的所述数据存储结构，所述第一数据存储结构由姓名信息、年龄信息以及籍贯信息组成，所述第二数据存储结构为公司的信息所对应的所述数据存储结构，所述第二数据存储结构由法人信息、公司位置信息以及公司年收入信息组成。

根据本申请的另一方面，提供了一种基于大数据的数据入库装置，包括：建立单元，用于采用分布式列存储数据库与分布式检索引擎建立基础存储数据库，所述分布式列存储数据库用于存储原始数据，所述分布式检索引擎用于存储原始数据的索引信息；优化单元，用于根据所述基础存储数据库中的数据存储结构和数据存储格式，构建数据表；管理单元，用于使用配置库的方式动态管理所述数据表；入库单元，用于基于所述数据表进行数据入库。