[发明专利]一种基于信息论的中文自动分词算法

摘要

一种基于信息论的中文自动分词算法，将待分词句子和已经初始化成功的语料库中的词进行对比匹配，根据概率统计学，将待分词句子拆分为网状结构，利用信息论方法求解网状结构中每条边的权值，权重最大的一条路径，即为待分词句子的分词结果，利用准确率可召回率判定分词效果。本发明中中文预处理的速度较基于分词词典的方法快；较基于分词词典的方法精度更高；较基于统计学方法有更好的准确度；实用性更大，更符合经验值；为后续自然语言处理技术提供了极大的应用价值。

主权项

一种基于信息论的中文自动分词算法，本发明涉及中文语义网络技术领域，具体涉及一种基于信息论的中文自动分词算法，其特征是，包括如下步骤：步骤1：初始化训练模型，可以是《分词词典》或相关领域的语料库，或是两者结合模型步骤2：根据《分词词典》找到待分词句子中与词典中匹配的词步骤3：依据概率统计学，将待分词句子拆分为网状结构，即得n个可能组合的句子结构，把此结构每条顺序节点依次规定为步骤4：基于信息论方法，给上述网状结构每条边赋予一定的权值步骤5：找到权值最大的一条路径，即为待分词句子的分词结果步骤6：验证此分词结果的准确率和召回率准确率：上式为《分词词典》识别待分词句子中字典词的个数，为此方法正确分词词的个数召回率：上式为待分词句子中词的总个数最后综合考虑这两个因子，判定此系统分词结果的正确性即为一个很小的阈值，这个由专家给定，当d满足上述条件，则分词效果比较理想。