[发明专利]一种面向结构化列式数据的分布式并行数据导入方法

摘要

本发明公开了一种面向结构化列式数据的分布式并行数据导入方法，包括：步骤1：获取数据导入规则，根据数据导入规则生成导入任务；步骤2：获取数据规模，根据数据规模将原数据表切分成若干子表，同时根据子表数量将导入任务切分成相应数量导入子任务；步骤3：多个导入子任务并行读取子表数据，读取到数据后将数据封装成协议报文，然后发送给数据导入子系统；步骤4：数据导入子系统根据步骤3发送的原始数据创建数据底层索引和数据分布索引，并将数据底层索引和数据分布索引导入到分布式内存数据库引擎中，实现了将存储在磁盘型数据库中的结构化数据快速导入到分布式内存数据库系统中，提高了列式数据库数据导入效率的技术效果。

主权项

1.一种面向结构化列式数据的分布式并行数据导入方法，其特征在于，包括如下步骤：步骤1：根据用户需要生成数据导入规则，负责读取数据库数据的数据库读取组件获取数据导入规则，根据数据导入规则生成导入任务；步骤2：获取待导入数据规模，根据数据规模将原数据表切分成若干子表，同时根据子表数量将导入任务切分成相应数量导入子任务；步骤3：多个导入子任务并行读取子表数据，读取到数据后将数据封装成协议报文，然后由数据库读取组件发送给负责转换数据的数据导入子系统；步骤4：数据导入子系统根据步骤3发送的原始数据分别创建数据底层索引和数据分布索引，数据底层索引用于存储数据库真实数据，数据分布索引用于保存数据分布位置，并将数据底层索引和数据分布索引导入到分布式内存数据库引擎中；数据库读取组件采用以下方式读取数据：数据库读取组件接收到来自数据导入子系统的导入规则，生成数据导入任务，首先读取数据库元信息，确定数据表规模；根据获取的数据表规模以及当前节点物理资源和总任务数，根据表行数确定将数据表横向切分成若干个大小相同的子表，读取每个子表的任务认为是一个子任务，根据子任务个数和物理资源信息确定子任务读取队列长度，即为并行读取线程数；子任务队列确定后，采用多线程的形式，对每片子表进行多线程并行读取，当子任务队列中工作线程全部返回后，将每个线程读取的数据合并成数据报文；将合并后的数据报文发送给数据导入子系统相关节点；将数据导入到分布式内存数据库引擎之前要对数据进行数据预处理，包括建立数据底层索引、建立数据分布索引；数据预处理策略如下：数据导入子系统接收到第一个报文后，首先将子表纵切，将每一列数据下发给工作线程；工作线程首先根据每一列数据进行排序，然后建立数据底层索引和该列的数据分布索引；数据底层索引和数据分布索引建立成功后向中央节点请求数据资源，获取到资源信息后将数据发送给分布式内存数据库引擎相应节点；数据导入子系统接收到剩余的字表数据后，同样建立数据底层索引；数据底层索引建立完成后判断待发送数据片号是否与当前数据编号相等，如果相等则发送该报文；分布式内存数据库引擎节点收到后续数据底层索引后，更新已有数据底层索引，并将数据底层索引返回给发送节点；数据导入子系统节点根据更新的数据底层索引建立后续的数据分布索引，将数据分布索引发送到存储数据分布索引的节点；然后重复执行上述数据预处理操作，直到本列全部数据发送完毕；当全表数据发送完毕后，向中央节点报告该表导入成功。