[发明专利]电子地图兴趣点数据冗余检测方法和系统

权利要求书

1.一种冗余检测方法，其特征在于，包括：

对兴趣点POI数据的名称进行二元切分，为切分的二元词建立倒排索引，并为POI数据根据倒排索引中的出现频率最低的词搜索相似POI数据；

对搜索到的具有名称相似关系的POI数据，进行名称相似度计算和地址相似度计算；

根据POI数据的名称相似度和地址相似度得到总相似度；

将总相似度与预设的阈值比较，大于预设阈值的，判定对应POI数据为冗余数据。

2.如权利要求1所述的方法，其特征在于，所述名称相似度计算，包括采用基于编辑距离的方式计算，基于编辑距离的方式如下表示：

其中，S_名1表示基于编辑距离的相似度值，X和Y分别代表两个字符串，Edit(X，Y)代表X和Y的编辑距离，|X |、|Y|分别表示字符串X、Y的长度；

或者，采用基于Jaccard系数的方式计算，所述基于Jaccard系数的方式如下表示：

其中，S_名2表示基于Jaccard系数的相似度值，X和Y分别代表两个字符串，X∪Y代表两个字符串的所有字符，X∩Y代表两个字符串所有相同的字符，取绝对值表示包含的字符的长度。

3.如权利要求2所述的方法，其特征在于，所述进行名称相似度计算，包括结合基于编辑距离的方式与基于Jaccard系数的方式，并采用F-度量计算，如下表示：

F_名表示结合基于编辑距离的方式与基于Jaccard系数的方式计算的名称相似度，表示预先设定的加权值。

4.如权利要求1所述的方法，其特征在于，所述进行地址相似度计算，包括采用基于Jaccard系数的方式计算，所述基于Jaccard系数的方式计算如下表示：

其中，S_地1表示基于Jaccard系数的相似度值，X和Y分别代表两个字符串，X∪Y代表两个字符串的所有字符，X∩Y代表两个字符串所有相同的字符，取绝对值表示包含的字符的长度。

5.如权利要求1所述的方法，其特征在于，所述进行地址相似度计算，包括采用基于分词的方式计算，所述基于分词的方式计算包括：

根据预置的地址词库，对POI数据的地址进行分词；

对于分词后第一POI数据的地址元素集合中每一地址元素，计算与分词后第二POI数据的地址元素集合中每一地址元素的相似度值，并找出最大相似度值，并作为所述第一POI数据中该地址元素与第二POI数据地址元素的相似度值；

将第一POI数据的地址元素集合中每一地址元素与第二POI数据地址元素的相似度值累加，再除以两个POI数据中地址元素个数平均值，作为地址相似度值S_地2。

6.如权利要求5所述的方法，其特征在于，所述对于分词后第一POI数据的地址元素集合中每一地址元素，计算与分词后第二POI数据的地址元素集合中每一地址元素的相似度值，包括：

对于分词后第一POI数据的地址元素集合中每一地址元素，采用基于编辑距离的方式计算与分词后第二POI数据的地址元素集合中每一地址元素的相似度值；

所述基于编辑距离的方式如下表示：

其中，S_地1表示基于编辑距离的相似度值，X和Y分别代表两个字符串，Edit(X，Y)代表X和Y的编辑距离，|X|、|Y|分别表示字符串X、Y的长度。

7.如权利要求5所述的方法，其特征在于，所述地址词库包括预先设定的地名词库，该地名词库中包括预先设定的地名数据；

相应地，所述根据预置的地址词库，对POI数据的地址进行分词，包括：

根据预置的地名词库，对POI数据的地址按照预置的地名词库存在的地名数据进行分词。

8.如权利要求7所述的方法，其特征在于，所述地址词库还包括预先设定的地址后缀词库，该地址后缀词库中包括预先设定的地址后缀数据；

相应地，所述根据预置的地址词库，对POI数据的地址进行分词，包括：

对于不在地名词库中的地址，按照地址后缀词库将其分为一个词。