[发明专利]一种自学习的中文地址判重方法

说明书

技术领域

本发明涉及对海量数据清洗判重处理相关的技术，特别是涉及一种对中文地址数据进行不依赖于领域知识的判重方法。

背景技术

随着中文搜索引擎和海量数据挖掘技术的飞速发展，高效中文地址判重技术作为其中的关键技术受到了工业界和学术界的广泛关注，已成为研究的焦点。中文地址具有写法灵活，语义多变等特点，因此相较英文地址去重，中文地址判重面临新的要求和挑战。

现有的各种数据去重方法主要集中在处理文本数据相似度的判断，数据间依赖关系判断，数据缩写的判断，以及处理海量数据时方法复杂度降低等问题上。这些方法及各种分支演化能够有效处理规整的英文数据，但对中文数据的处理，特别是中文地址的判重，只能按照文本的字面相似性来机械地判定重复，因而存在较大的局限性。比如：“杭州市浙大路38号”与“杭州市浙江大学玉泉校区”两个地址信息，其实指向了同一个地址，但是由于写法的不同，现有程序均无法自动判定为相同，而只有借助外部预先定义的领域知识将“浙江大学玉泉校区”转换为“浙大路38号”才能做出正确判断。但是，这些领域知识规模庞大，外部预先定义在实际工作中可行性不高。且对一些较小型的判重应用，使用规模非常庞大的领域知识，显然也非常不合适。

发明内容

本发明的目的在于针对现有技术的不足，提供一种自学习的中文地址判重方法。

本发明的目的是通过以下技术方案来实现的：一种自学习的中文地址判重方法，包括以下步骤：

(1)对所有地址数据进行预处理提取冗余信息的操作；具体步骤如下：

(A)地址切分操作：对一个完整的地址数据切分成各级的子地址信息。

(B)地址规范度计算：对每一个地址数据计算其规范度信息，具体计算方法为分别计算每级子地址信息的规范度，并权重相加得到整条地址数据的规范度值。对子地址的规范度计算步骤如下：

第一步，从已经列入规范的地址数据的对应子域中搜索该值出现的次数；同时分析该子地址结构，若其由更细子域组成，则做二次分级，分别计算每个子域的规范度。规则为出现次数越多，该值越规范。

第二步，对子地址信息进行分词，用分词后每个词的平均字数作为标准，平均字数越小意味该子地址词数越少，规范的可能性就越小；

第三步，分析子地址字面基本信息，计算该域合法的可能信息。

综合以上三步所得规范度信息，若第一步中出现次数大于一阈值，则只使用第一步结果当作该子地址规范度，若小于一阈值，则根据实际情况使用一、二或者一、二、三步结果权重相加来获得该子地址的规范度。

(C)对规范度超过一定阈值的地址数据提取冗余信息，保存为{规范数据，冗余数据，出现次数}格式的数据对，方便后期检索。

(D)筛选所有冗余格式对，对出现次数超过一定阈值的冗余格式，标为可信冗余对。

(2)遍历所有待判重的地址，如果出现步骤(1)中取出的冗余数据信息，且该冗余信息为可信冗余对，则将该冗余信息替换为对应的规范数据；对所有替换后的地址进行判重操作。

(3)对后续动态增长的待判重地址，遵循对每个地址计算规范度，提取冗余信息并更新冗余信息对，替换冗余信息，判重这个顺序操作。

本发明与现有技术相比，具有的有益的效果是：

(1)本发明是一种能够精确地，不依赖于领域知识的判重方法，使用了自学习的各种信息，地址判重准确度上比传统的不进行自学习的判重方法提高很多。

(2)本发明不需要特定的地址知识库的支持，维护代价小，操作简单，有别于传统的一些依赖于地址知识库的方法，应用范围广，如可应用于各类垂直搜索引擎，数据仓库，邮政系统等等。

所以，本发明是一种适用于互联网环境下的，用于精确、高效地对海量中文地址进行判重的方法。

附图说明

图1自学习中文地址判重方法流程图。

具体实施方式

在垂直搜索引擎，数据整合系统等需要进行地址判重的应用中，使用本方法来进行实际的判重工作，可以获得比传统的不利用领域知识的判重方法更佳精确的判重效果。本方法具体实施步骤如下：

1.对所有待处理的地址进行一遍预处理。主要进行以下几项工作：

1)对地址切分子域：

可以使用关键词匹配等方法，由于中文语义的多样性，应该尽量保证切分的效果。比如将“浙江省杭州市西湖区浙大路38号”这个地址切分成“浙江省，杭州市，西湖区，浙大路，38号”这几个域；

2)计算切分后地址的地址规范度：

地址的规范度由各个切分后子域的规范度的权重和来计算。而各个子域的规范度可以使用以下三个思路：