[发明专利]一种基于分词与索引技术的重复记录检测方法

摘要

本发明涉及一种基于分词与索引技术的重复记录检测方法，获取待处理记录集，遍历待处理记录集，选取出待分词字段集合，对每一条记录的待分词字段中的字段值进行分词，得到每条记录的分词集合；遍历待处理记录集的同时，根据获得的分词集合，建立并扩充待处理记录集的逆向索引，根据获得的逆向索引，建立并扩充待处理记录集的正向链集合；遍历结束，得到构建完成的逆向索引和正向链集合，获得候选记录对集合；采用记录重复性计算算法，对所有的候选记录对对应的待处理记录是否重复进行计算，最终得到候选记录对是否重复的结果，存储检测结果；若发生增加记录、修改记录、删除记录的增量记录，则对增量记录进行实时处理。

主权项

一种基于分词与索引技术的重复记录检测方法，其特征在于步骤如下：步骤1，获取待处理记录集r，从记录集的所有字段中选取待分词的字段集合f；步骤2，遍历待处理记录集，根据步骤1中选取出的待分词字段集合f，对每一条记录的待分词字段中的字段值进行分词，得到每条记录的分词集合w；遍历待处理记录集r同时，根据获得的分词集合w，建立并扩充待处理记录集的逆向索引，根据获得的逆向索引，建立并扩充待处理记录集的正向链集合；遍历结束，得到构建完成的逆向索引和正向链集合，并将得到的逆向索引持久化存储；所述逆向索引结构为wi＝{r1,r2,,,rm}，等号左边为键，等号右边为值，其中键为分词过程中出现过的某一个分词wi，值为包含该分词wi的记录对应的记录索引集合，集合中的rm为待处理记录的索引值；借助逆向索引能够根据某个分词查询到包含该分词的所有待处理记录的索引值rm，根据查询到的索引值rm进而查询到对应的待处理记录；所述正向链集合结构为rj＝{{r11,r12,,,r1m},,,{rk1,rk2,,,rkm}},其中等号左边为键，等号右边为值，键rj为待处理记录的索引值，值为由集合元素组成的集合，值中集合元素的个数等于通过rj索引到的待处理记录的分词集合wj中的分词数，每个集合元素即为以wi为键的逆向索引的值；步骤3，设置阈值，遍历记录待处理集r，根据步骤2中的正向链集合，获得候选记录对集合，每个候选记录对的结构为{r1,r2}，其中r1、r2为待处理记录的索引；步骤4，采用记录重复性计算算法，对所有的候选记录对{r1,r2}对应的待处理记录是否重复进行计算，最终得到候选记录对是否重复的结果，存储检测结果；步骤5，若发生增加记录、修改记录、删除记录的增量记录，则对增量记录进行实时处理。