[发明专利]基于关键字的字符序列分割方法及装置

说明书

技术领域

本发明涉及字符序列分词技术领域，尤其涉及一种基于关键字的字符序列分割方法及装置。

背景技术

目前常用的分词算法主要有以下三大类：

一、基于字符串匹配的分词；二、基于理解的分词；三、基于统计的分词。上述三种分司算法对比结果见下表1所示：

  分词方法  基于字符串匹配分词  基于理解的分词  基于统计的分词  歧义识别  差  强  强  新词识别  差  强  强  需要词典  需要  不需要  不需要  需要语料库  否  否  是  需要规则库  否  是  否  算法复杂性  容易  很难  一般  技术成熟度  成熟  不成熟  成熟  实施难度  容易  很难  一般  分词准确性  一般  准确  较准  分词速度  快  慢  一般

表1

对于现有的三类分词算法，虽然在某些方面各有所长，但在某些严格的应用中均存在以下缺点：

1、分词准确率达不到要求：对一些分词要求准确率非常高的应用中，如表达式、公式分词，其分词准确性要求达到100％，否则会造成运算结果错误。