[发明专利]一种自学习的中文地址判重方法

摘要

本发明公开了一种自学习的中文地址判重方法。本发明在对中文地址进行判重时，采用自学习的方法。首先处理所有待判重的地址数据，使用规范度计算公式计算出各个地址的规范度，并对符合规范条件的地址提取冗余信息，并计算冗余信息可信度，将可信的冗余信息用于后续的地址数据替换，判重上。本发明方法不依赖领域知识，能够在保证解析精度的前提下，显著降低地址判重中误判和漏判的比例。

主权项

1、一种自学习的中文地址判重方法，其特征在于，包括以下步骤：(1)对所有地址数据进行预处理提取冗余信息的操作。(2)遍历所有待判重的地址，如果出现步骤(1)中取出的冗余数据信息，且该冗余信息为可信冗余对，则将该冗余信息替换为对应的规范数据；对所有替换后的地址进行判重操作。(3)对后续动态增长的待判重地址，遵循对每个地址计算规范度，提取冗余信息并更新冗余信息对，替换冗余信息，判重这个顺序操作。2、根据权利要求1所述的自学习的中文地址判重方法，其特征在于，所述步骤(1)具体步骤如下：(A)地址切分操作：对一个完整的地址数据切分成各级的子地址信息。(B)地址规范度计算：对每一个地址数据计算其规范度信息，具体计算方法为分别计算每级子地址信息的规范度，并权重相加得到整条地址数据的规范度值。对子地址的规范度计算步骤如下：第一步，从已经列入规范的地址数据的对应子域中搜索该值出现的次数；同时分析该子地址结构，若其由更细子域组成，则做二次分级，分别计算每个子域的规范度。规则为出现次数越多，该值越规范。第二步，对子地址信息进行分词，用分词后每个词的平均字数作为标准，平均字数越小意味该子地址词数越少，规范的可能性就越小；第三步，分析子地址字面基本信息，计算该域合法的可能信息。综合以上三步所得规范度信息，若第一步中出现次数大于一阈值，则只使用第一步结果当作该子地址规范度，若小于一阈值，则根据实际情况使用一、二或者一、二、三步结果权重相加来获得该子地址的规范度。(C)对规范度超过一定阈值的地址数据提取冗余信息，保存为{规范数据，冗余数据，出现次数}格式的数据对，方便后期检索。(D)筛选所有冗余格式对，对出现次数超过一定阈值的冗余格式，标为可信冗余对。