[发明专利]一种数据并行批量导入只读查询系统的方法及系统

权利要求书

1.一种数据并行批量导入只读查询系统的方法，其步骤包括：

1）接收原始特征数据请求，并转发到Hadoop进行处理；

2）根据节点映射规则在所述Haddoop上建立多个Map/Reduce任务并在每个reducer任务节点上生成特征数据的数据块；

3）将所述数据块放置到Hadoop的对应节点上，并通过只读查询系统并行读取Hadoop上的对应节点上的数据块。

2.如权利要求1所述的数据并行批量导入只读查询系统的方法，其特征在于，所述数据块进行并行读取的方法如下：

1）根据Hadoop上的驱动程序得到生成数据块的数目以及对应存放的Hadoop节点，并转发到只读查询系统的驱动程序；

2）根据所述数据块的存放位置读取对应数据，并按照数据块头部的位置信息，存储到只读查询系统自身的节点下。

3.如权利要求1所述的数据并行批量导入只读查询系统的方法，其特征在于，在每个reducer任务节点上生成数据块文件储存格式为：数据块索引文件和数据文件。

4.如权利要求1所述的数据并行批量导入只读查询系统的方法，其特征在于，所述步骤3）中并行读取时，只读查询系统节点并行从Hadoop节点上读取数据块，并形成自己的数据副本，放置在只读查询系统节点的存储目录store中。

5.如权利要求1所述的数据并行批量导入只读查询系统的方法，其特征在于，所述步骤3）还包括对数据块进行数据替换，当所有数据副本已经读取完毕，则触发所述只读查询系统驱动程序对新老版本数据块进行替换，形成新的数据版本时等待所有副本都读取完毕，再进行数据块替换。

6.如权利要求5所述的数据并行批量导入只读查询系统的方法，其特征在于，所述数据块替换方法为：当只读查询系统的驱动程序检测到数据块的读取状态为未读状态，则锁定老版本数据块；并将只读查询系统节点的工作目录指向新版本数据的工作目录将索引数据加载到内存并将老版本数据索引释放后解锁该老版本数据块。

7.如权利要求5所述的数据并行批量导入只读查询系统的方法，其特征在于，当在运行过程中发现版本数据错误，则从新版本转换为老版本。

8.如权利要求1-7任意一项所述的数据并行批量导入只读查询系统的方法，其特征在于，所述只读查询系统为Cassandra。

9.一种数据并行批量导入只读查询系统的系统，包括：线上查询系统和hadoop框架，其特征在于，还包括：协调器，Hadoop驱动程序模块与线上查询系统驱动模块，

所述Hadoop驱动程序模块接收协调器的数据处理请求，并转换成Map/Reduce任务；Map/Reduce处理的结果产生可以被线上系统直接读取的带有索引的数据块；

所述线上查询系统驱动程序模块是协调器控制线上系统的接口，用于通知线上系统的每一个节点，从对应的Hadoop存储节点上将数据块并行读取到线上系统的存储文件夹下，并形成新的数据版本；

所述协调器用于接受并转发所述查询请求，控制模块间数据处理的开始和结束。

10.如权利要求9所述的数据并行批量导入只读查询系统,其特征在于，当所有节点完成新数据版本的更新后，所述协调器通知将线上查询系统驱动程序将工作版本的路径重定向到新的版本路径。