[发明专利]一种地址标准化语料的分词方法及系统

说明书

本申请提供一种地址标准化语料的分词方法及系统，所述方法在获取语料样本和业务文本后，通过设定频繁二项集的置信度与支持度，以及使用频繁二项集，在语料样本中发现业务新词；再向基础分词词库添加业务新词，生成种子业务词库。再根据种子业务词库，对语料样本实施分词，生成分词结果。重新统计语料样本的概率矩阵，最后使用新的概率矩阵，对业务文本实施分词。所述方法通过频繁二项集在语料样本中发现业务新词，可以更新基础分词词库，以提高针对业务文本的准确性。所述方法还利用重新统计的概率矩阵，对业务文本实施分词，进一步提高分词的准确性。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种地址标准化语料的分词方法及系统。

背景技术

文本分类是自然语言处理的一个基本任务，试图通过机器自动推断出给定文本的标签或标签集合。文本分类一般包括文本的表达、分类器的选择与训练、分类结果的评价与反馈等过程。其中，文本的表达进一步细分为：文本预处理、索引和统计、特征抽取等步骤。在文本分类的过程中，需要对待处理的文本分解为基本处理单元，以降低后续处理的开销。对于中文自然语言，即按照语义对语句进行分词处理。

分词处理，是将连续的一串字序列按照一定的规范重新组合成词序列的过程。对于中文自然语言处理中的分词任务，对应于技术方案中，可以通过词库匹配进行分词，以及可以通过求解条件随机场进行分词。其中，条件随机场(Conditional Random Fields，CRF/CRFs)，又称条件随机域，是一种判别式的概率模型，可用于标注或分析中文自然语言文字等序列资料。

现有的中文自然语言分词方法主要包括：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法三种。例如词库法，维特比算法，RNN深度学习等。在面向特定领域的语料时，需要新的调试学习，以便达到更好的分词效果，部分应用场景对词库的依赖较大。尤其对于地址标准化语料，其中包含的文字往往并不具有具体的文字含义。例如，贵州省贵阳市南明区龙兴苑小区，其中包含小区名，地名等较难分割的词语。因此，传统的分词方法无法准确的对地址标准化语料实施分词。

发明内容

本申请提供了一种地址标准化语料的分词方法及系统，以解决传统分词方法无法准确的对地址标准化语料实施分词的问题。

一方面，本申请提供一种地址标准化语料的分词方法，包括：

获取带有标准化地址信息的语料样本和业务文本；

设定频繁二项集的置信度与支持度；以及使用所述频繁二项集，在所述语料样本中发现业务新词；

向基础分词词库添加所述业务新词，生成种子业务词库；

根据所述种子业务词库，对所述语料样本实施分词，生成分词结果；

根据所述分词结果，重新统计所述语料样本的概率矩阵；

使用重新统计的概率矩阵，对带有标准化地址信息的业务文本实施分词。

可选的，所述设定频繁二项集的置信度与支持度的步骤包括：

提取分词使用的概率矩阵；

根据概率矩阵设定频繁二项集的置信度与支持度，包括：根据概率矩阵中字与字之间的转移概率，设定所述频繁二项集的置信度；以及，根据概率矩阵中的字发射概率，设定所述频繁二项集的支持度。

可选的，所述分词方法中，根据所述概率矩阵中字与字之间的转移概率的预设值分位数，设定所述频繁二项集的置信度；以及，根据所述概率矩阵中字发射概率的预设值分位数，设定所述频繁二项集的支持度。

可选的，在设定频繁二项集的置信度与支持度后，所述方法还包括：

使用所述频繁二项集，在所述语料样本中发现业务新词；

遍历业务新词的发现结果中每个业务新词；