[发明专利]一种面向分布式数据仓库的加载客户端实现方法

摘要

本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。

主权项

1.一种面向分布式数据仓库的加载客户端实现方法，其特征在于：具体步骤如下：步骤一、对某个含有1个客户端和N个服务端的系统，初始化系统启动参数；系统启动参数包括：同时运行加载器的数量，指定被加载数据的位置，数据仓库节点列表和服务端指定数据加载的N个具体表名；步骤二、加载器管理模块根据主线程创建加载器并初始化，每个线程各申请一个加载器；步骤三、每个线程各创建一个数据解析模块，对被加载的客户端数据进行解析，按行切分为字段数据，传输给该线程申请的加载器；步骤四、每个加载器收到字段数据后，分别调用数据校验模块进行检验；数据校验模块根据初始化时的N个指定表名，向分布的各数据仓库节点申请每个指定表的结构信息，等待用以校验加载数据的格式是否正确；步骤五、每个加载器将检验后的字段数据，缓存到数据缓存模块进行管理并传输给数据传输模块；步骤六、分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块等待查阅；步骤七、数据传输模块收到缓存数据后，查阅健康的分布式数据仓库并发送数据，实现负载均衡和链路冗余的功能。