[发明专利]信息处理装置及其分词处理方法

说明书

本发明提供一种信息处理装置及其分词处理方法，所述信息处理装置包括：选择单元，其被配置对分词对象进行分词，获得表示为多个词的组合的分词结果；第一拼接单元，其被配置为对所述组合中的相邻词进行拼接处理；序列标注单元，其被配置为利用序列标注模型，对由所述第一拼接单元进行拼接处理后的所述组合中的各词进行序列标注，并根据序列标注的结果对所述组合中的词进行合并；以及第二拼接单元，其被配置根据预定规则对由所述序列标注单元进行合并后的词进行拼接。

技术领域

本发明涉及一种能够进行分词处理的信息处理装置及其分词处理方法。

背景技术

现有的分词方法主要包括以下三种：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。例如，现有技术(公开号为CN104462051A的中国专利申请)中记载了一种基于统计的分词方法，其包括：获取一段时间内词在不同搜索领域中被搜索的次数，根据被搜索的次数计算出词的统计分数；根据词的长度计算出词的长度分数；根据词的统计分数和长度分数得到词的分值，由词和词的分值生成分词词典；获取待分词的句子，将所述待分词的句子与所述分词词典中的词进行匹配以得到多个分词结果，计算各个分词结果的分值，将分值高的分词结果作为所述待分词的句子的分词结果。

然而，在上述专利公报所公开的分词技术中，由于分词结果过于依赖分词词典，如果用于例如手机或平板电脑等信息处理装置，则因无法使用过大的词典，而存在分词结果粒度太细的问题。同时，由于需要在内存中运行程序，占用了过多的内存资源，因此存在系统运行速度较慢的问题。

发明内容

鉴于现有技术中的上述问题，为解决上述这些问题的全部或至少一者，提出了本发明，本发明的目的在于提供一种分词粒度大、分词处理速度快的分词处理技术。

根据本发明的一方面，提供一种能够进行分词处理的信息处理装置，其特征在于，所述信息处理装置包括：选择单元，其被配置对分词对象进行分词，获得表示为多个词的组合的分词结果；第一拼接单元，其被配置为对所述组合中的相邻词进行拼接处理；序列标注单元，其被配置为利用序列标注模型，对由所述第一拼接单元进行拼接处理后的所述组合中的各词进行序列标注，并根据序列标注的结果对所述组合中的词进行合并；以及第二拼接单元，其被配置根据预定规则对由所述序列标注单元进行合并后的词进行拼接。

通过本发明第一方面的技术方案，实现了一种分词粒度大的信息处理装置。

根据本发明的另一方面，提供一种能够进行分词处理的信息处理装置，所述信息处理装置包括存储序列标注模型的外部存储器，其特征在于，所述信息处理装置包括：分词单元，其被配置为对分词对象进行分词，并获得表示为多个词的组合的分词结果；以及序列标注单元，其被配置为针对将分词对象进行分词获得的、表示为多个词的组合的分词结果，利用序列标注模型对所述组合中的词进行序列标注处理，并根据序列标注的结果对所述组合中的词进行合并，其中，所述序列标注单元在所述外部存储器中进行所述序列标注处理。

通过本发明第二方面的技术方案，实现了一种占用内存小，处理速度快的信息处理装置。

根据本发明的另一方面，提供一种用于信息处理装置的分词处理方法，所述分词处理方法包括如下步骤：选择步骤，对分词对象进行分词，并获得表示为多个词的组合的分词结果；第一拼接步骤，对所述组合中的相邻词进行拼接处理；序列标注步骤，利用序列标注模型，对在所述第一拼接步骤中进行拼接处理后的所述组合中的各词进行序列标注，并根据序列标注的结果对所述组合中的词进行合并；以及第二拼接步骤，其被配置根据预定规则对在所述序列标注步骤中进行合并后的组合中的词进行拼接。