[发明专利]一种基于MapReduce的字段整体替换方法

摘要

本发明涉及字段替换技术领域，公开了一种基于MapReduce的字段整体替换方法，包括将数据表和替换表存储在文件系统中；对数据表中的数据进行映射，形成由数据对组成的字段序列；其中，数据对包括键和值；判断字段序列中的数据对是否需要替换；若数据对需要替换，则将数据对中的键替换成替换表中相应的数据。本发明在Hadoop的基础上，先将数据表数据和替换表数据存储在文件系统中，将数据字段化，再通过输入的替换需求将替换表中的数据替换数据表中的数据，从而方便地、自行地对数据中某一字段进行了整体替换，提高了数据的处理效率。

主权项

一种基于MapReduce的字段整体替换方法，其特征在于，包括：将数据表和替换表存储在文件系统中；通过确定输入的替换需求的合法性来判断是否对字段进行替换；其中，所述替换需求包括：所述替换表的输出路径和输入路径、所述数据表的输入路径及待替换字段序号；所述通过确定输入的替换需求的合法性来判断是否对字段进行替换的步骤具体包括：先判断输入的替换需求是否为所需的字符串；若替换需求为所需的字符串，则判断所述替换表的输出路径在文件系统中是否存在；若所述替换表的输出路径在文件系统中不存在，则判断所述替换表的输入路径在文件系统中是否存在；若所述替换表的输入路径在文件系统中存在，则判断所述数据表的输入路径在文件系统中是否存在；若所述数据表的输入路径在文件系统中存在，则判断待替换字段序号是否在数据表的字段序号的范围之内；若待替换字段序号在数据表的字段序号的范围之内，则说明替换需求是合法的；对所述数据表中的数据进行映射，形成由数据对组成的字段序列；其中，所述数据对包括键和值；判断所述字段序列中的数据对是否需要替换；若数据对需要替换，则将数据对中的键替换成所述替换表中相应的数据，从而方便地、自行地对数据中某一字段进行了整体替换；所述将数据表和替换表存储在文件系统中的步骤具体包括：根据存储指令将数据表和替换表存储在文件系统的指定位置，并为所述数据表和替换表中的数据添加字段序号；其中，所述替换表中每行数据有两个字段，且用制表符分开；所述对数据表中的数据进行映射的步骤具体包括：根据输入的数据表的输入路径和替换表的输入路径判断数据行在所述数据表中还是在所述替换表中；若所述数据行在数据表中，则将数据行记录作为映射的输入值，然后根据所述待替换字段序号查找到字段中的数据，并作为映射的输出值，将数据行记录的非待替换字段作为映射的输出值；若所述数据行不在数据表中，则说明所述数据行在替换表中，将数据行记录作为映射的输入值，将第一个字段和加上标识符的第二个字段一起作为映射的输出值，其中，所述第一个字段是被替换的数据，所述第二个字段是替换后的数据。