[发明专利]一种基于无词典的中文地址分词方法

权利要求书

1.一种基于无词典的中文地址分词方法，其特征在于：包括以下步骤：

S1，统计地址语料库中任意长度大于1小于等于8的字符串的词频、互信息和信息熵；

S2，对输入的地址字符串利用正则表达式进行预处理，对处理后得到的字符串进行全切分处理，得到切分集合；

S3，根据步骤S1统计得到的字符串的互信息和信息熵，计算得到弧段花费最小的分词方案；

S4，根据置信度方法对该步骤S3得到的分词方案的字符串集合进行二次计算，判断该字符串是否为真实词条，得到最优的分词方案；

所述步骤S1包括以下子步骤：

S11，统计地址语料库中的每条地址中任意字符长度大于1小于等于8的字符串的频度，存入词频词典Word_dic中；

S12，利用公式(1)统计字符串之间的互信息，存入MI_map中；

其中p(xy)是字符x和字符y在语料里同时出现的概率；p(x)是字符x单独出现的概率；p(y)是y单独出现的概率；

S13，利用公式(2)和公式(3)统计字符串的左熵、右熵，并存入LR-map中，左熵、右熵分别指字符串左边界和右边界的信息熵；

其中w表示字符串，A表示字符串左邻字的集合，a表示左邻字，B表示字符串右邻字的集合，b表示右邻字，aw、wb分别表示字符串w与左邻字a和右邻字b组合形成的字符串；

所述步骤S3具体为：根据步骤S1中得到的词频字典中字符串的词频、字符串间的互信息以及字符串的信息熵，利用公式(4)计算步骤S2中得到的切分集合W＝{w_i}中每一个w_i的概率，并保存结果，选取计算结果最小的分词方案，记作segment_result；

M表示地址字符串切分点的左字符串、N表示地址字符串切分点的右字符串，m、n表示左字符串最右侧的字和右字符串最左侧的字；

所述步骤S4具体为：利用置信度公式(5)依次判断segment_result中的切分出来的字符串T₁，T₂,...,T_j是否为真实词条，并将真实词条放入结果集last_result中并输出；

其中，fre(w₁)和fre(w)分别表示字符串w₁和w在语料库中出现的次数，conf(w₁|w)表示词条w₁相对于词条w的置信度，j表示字符串的数量。

2.根据权利要求1所述的一种基于无词典的中文地址分词方法，其特征在于：所述步骤S2具体为：对输入的地址字符串利用正则表达式进行预处理，对处理后字符串W进行全切分处理，连续的数字中间不插入分隔符，得到切分集合W＝{w_i}，1≤i≤2^l-1，其中l表示字符串的长度。