[发明专利]信息处理装置及其分词处理方法

说明书

本发明提供一种信息处理装置及其分词处理方法，所述信息处理装置包括：选择单元，其被配置对分词对象进行分词，获得表示为多个词的组合的分词结果；第一拼接单元，其被配置为对所述组合中的相邻词进行拼接处理；序列标注单元，其被配置为利用序列标注模型，对由所述第一拼接单元进行拼接处理后的所述组合中的各词进行序列标注，并根据序列标注的结果对所述组合中的词进行合并；以及第二拼接单元，其被配置根据预定规则对由所述序列标注单元进行合并后的词进行拼接。

本申请是申请日为2017年6月28日、申请号为201710505392.0、发明名称为“信息处理装置及其分词处理方法”的发明专利申请的分案申请。

技术领域

本发明涉及一种能够进行分词处理的信息处理装置及其分词处理方法。

背景技术

现有的分词方法主要包括以下三种：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。例如，现有技术(公开号为CN104462051A的中国专利申请)中记载了一种基于统计的分词方法，其包括：获取一段时间内词在不同搜索领域中被搜索的次数，根据被搜索的次数计算出词的统计分数；根据词的长度计算出词的长度分数；根据词的统计分数和长度分数得到词的分值，由词和词的分值生成分词词典；获取待分词的句子，将所述待分词的句子与所述分词词典中的词进行匹配以得到多个分词结果，计算各个分词结果的分值，将分值高的分词结果作为所述待分词的句子的分词结果。

然而，在上述专利公报所公开的分词技术中，由于分词结果过于依赖分词词典，如果用于例如手机或平板电脑等信息处理装置，则因无法使用过大的词典，而存在分词结果粒度太细的问题。同时，由于需要在内存中运行程序，占用了过多的内存资源，因此存在系统运行速度较慢的问题。

发明内容

鉴于现有技术中的上述问题，为解决上述这些问题的全部或至少一者，提出了本发明，本发明的目的在于提供一种分词粒度大、分词处理速度快的分词处理技术。

根据本发明的第一方面，提供一种能够进行分词处理的信息处理装置，所述信息处理装置包括：分词单元，其被配置为对分词对象进行分词并获得多个分词结果，所述多个分词结果中的各个被表示为多个词的组合；第一拼接单元，其被配置为对所述组合中的相邻词进行拼接处理；序列标注单元，其被配置为利用序列标注模型，对由所述第一拼接单元进行拼接处理后的所述组合中的各词进行序列标注，并根据序列标注的结果对所述组合中的词进行合并；以及第二拼接单元，其被配置为根据预定规则对由所述序列标注单元进行合并后的词进行拼接。

通过本发明第一方面的技术方案，实现了一种分词粒度大的信息处理装置。

优选地，所述预定规则包括将相邻词中可能与事件、日期、数量词或者文字表情有关的词进行拼接。

优选地，根据从基于所述组合中的多个词的预定类型来对分词结果进行预测而获得的预测分词结果中选择的分词结果，所述序列标注单元对所述组合中的词进行合并。

优选地，所述序列标注单元包括：提取部，其被配置为从由所述第一拼接单元进行拼接处理后的所述组合中的各分词中提取预定类型的词；预测部，其被配置为根据所述预定类型，来预测所提取的词的对应分词结果；选择部，其被配置为从所预测的分词结果中选择分词结果；以及合并部，其被配置为根据由所述选择部所选择的分词结果，来对所述组合中的词进行合并。

优选地，所述预定类型包括人名、地名和机构名。

优选地，所述选择单元根据分词策略分别计算所述多个词的组合的得分，并从所述多个词的组合中选择得分最高的组合。

优选地，所述分词策略包括词语权重和语言模型得分。