[发明专利]一种基于MapReduce的字段整体替换方法

权利要求书

1.一种基于MapReduce的字段整体替换方法，其特征在于，包括：

将数据表和替换表存储在文件系统中；

对所述数据表中的数据进行映射，形成由数据对组成的字段序列；其中，所述数据对包括键和值；判断所述字段序列中的数据对是否需要替换；若数据对需要替换，则将数据对中的键替换成所述替换表中相应的数据。

2.如权利要求1所述的基于MapReduce的字段整体替换方法，其特征在于，所述将数据表和替换表存储在文件系统中的步骤具体包括：根据存储指令将数据表和替换表存储在文件系统的指定位置，并为所述数据表和替换表中的数据添加字段序号；其中，所述替换表中每行数据有两个字段，且用制表符分开。

3.如权利要求2所述的基于MapReduce的字段整体替换方法，其特征在于，在对所述数据表中的数据进行映射的步骤之前还包括：通过确定输入的替换需求的合法性来判断是否对字段进行替换；其中，所述替换需求包括：所述替换表的输出路径和输入路径、所述数据表的输入路径及待替换字段序号。

4.如权利要求3所述的基于MapReduce的字段整体替换方法，其特征在于，所述通过确定输入的替换需求的合法性来判断是否对字段进行替换的步骤具体包括：先判断输入的替换需求是否为所需的字符串；若替换需求为所需的字符串，则判断所述替换表的输出路径在文件系统中是否存在；若所述替换表的输出路径在文件系统中不存在，则判断所述替换表的输入路径在文件系统中是否存在；若所述替换表的输入路径在文件系统中存在，则判断所述数据表的输入路径在文件系统中是否存在；若所述数据表的输入路径在文件系统中存在，则判断待替换字段序号是否在数据表的字段序号的范围之内；若待替换字段序号在数据表的字段序号的范围之内，则说明替换需求是合法的。

5.如权利要求4所述的基于MapReduce的字段整体替换方法，其特征在于，所述对数据表中的数据进行映射的步骤具体包括：根据输入的数据表的输入路径和替换表的输入路径判断数据行在所述数据表中还是在所述替换表中；若所述数据行在数据表中，则将数据行记录作为映射的输入值，然后根据所述待替换字段序号查找到字段中的数据，并作为映射的输出值，将数据行记录的非待替换字段作为映射的输出值；若所述数据行不在数据表中，则说明所述数据行在替换表中，将数据行记录作为映射的输入值，将所述第一个字段和加上标识符的第二个字段一起作为映射的输出值。

6.如权利要求5所述的基于MapReduce的字段整体替换方法，其特征在于，所述替换需求还包括：是否进行筛选的标志位；相应地，所述判断字段序列中的数据对是否需要替换的步骤还包括：若所述数据对不需要替换，则根据所述是否进行筛选的标志位来判断数据对是否需要筛选；若数据对需要筛选，则将数据对舍弃；若数据对不需要筛选，则去掉数据对中包含标识符的值，并对去掉包含标识符的值的数据对进行保存。

7.如权利要求6所述的基于MapReduce的字段整体替换方法，其特征在于，在所述将数据对中的键替换成替换表中相应的数据之后，判断所述字段序列中的数据对是否都进行了替换检查；若字段序列中的数据对都进行了替换检查，则将替换后的字段序列根据所述替换表的输出路径输出到指定位置；若字段序列中的数据对没有都进行替换检查，则对字段序列中未替换的数据对进行替换操作。