[发明专利]信息处理装置及其分词处理方法

权利要求书

1.一种能够进行分词处理的信息处理装置，其特征在于，所述信息处理装置包括：

分词单元，其被配置为对分词对象进行分词并获得多个分词结果，所述多个分词结果中的各个被表示为多个词的组合；

第一拼接单元，其被配置为对所述组合中的相邻词进行拼接处理；

序列标注单元，其被配置为利用序列标注模型，对由所述第一拼接单元进行拼接处理后的所述组合中的各词进行序列标注，并根据序列标注的结果对所述组合中的词进行合并；以及

第二拼接单元，其被配置为根据预定规则对由所述序列标注单元进行合并后的词进行拼接，

其中，根据从基于所述组合中的多个词的预定类型来对分词结果进行预测而获得的预测分词结果中选择的分词结果，所述序列标注单元对所述组合中的词进行合并。

2.根据权利要求1所述的信息处理装置，其中，所述预定规则包括将相邻词中与事件、日期、数量词或者文字表情有关的词进行拼接。

3.根据权利要求1所述的信息处理装置，其中，所述序列标注单元包括：

提取部，其被配置为从由所述第一拼接单元进行拼接处理后的所述组合中的各分词中提取预定类型的词；

预测部，其被配置为根据所述预定类型，来预测所提取的词的对应分词结果；

选择部，其被配置为从所预测的分词结果中选择分词结果；以及

合并部，其被配置为根据由所述选择部所选择的分词结果，来对所述组合中的词进行合并。

4.根据权利要求1所述的信息处理装置，其中，所述预定类型包括人名、地名和机构名。

5.根据权利要求1所述的信息处理装置，其中，所述分词单元根据分词策略分别计算所述多个词的组合的得分，并从所述多个词的组合中选择得分最高的组合。

6.根据权利要求5所述的信息处理装置，其中，所述分词策略包括词语权重和语言模型得分。

7.一种能够进行分词处理的信息处理装置，所述信息处理装置包括存储序列标注模型的外部存储器，其特征在于，所述信息处理装置包括：

分词单元，其被配置为对分词对象进行分词并获得多个分词结果，所述多个分词结果中的各个被表示为多个词的组合；以及

序列标注单元，其被配置为针对将分词对象进行分词获得的、表示为多个词的组合的分词结果，利用序列标注模型对所述组合中的词进行序列标注处理，并根据序列标注的结果对所述组合中的词进行合并，其中，所述序列标注单元在所述外部存储器中进行所述序列标注处理，

其中，根据从基于所述组合中的多个词的预定类型来对分词结果进行预测而获得的预测分词结果中选择的分词结果，所述序列标注单元对所述组合中的词进行合并。

8.根据权利要求7所述的信息处理装置，其中，所述序列标注单元在进行所述序列标注处理时，通过计算所述序列标注模型在所述外部存储器中的地址，从所述地址获取所述序列标注模型在所述外部存储器中的对应信息，来使用所述序列标注模型。

9.根据权利要求7所述的信息处理装置，其中，所述外部存储器为硬盘。

10.根据权利要求7所述的信息处理装置，其中，所述序列标注单元包括：

存储部，其被配置为将序列标注模型的发射概率和状态概率存储在外部存储器的第一文件中；

计算部，其被配置为对所述组合中的词的特征函数进行哈希运算，以将各特征函数和与该特征函数相对应的发射概率或状态概率的存储位置，以哈希值存储于第二文件中；

提取部，其被配置为从由所述计算部存储的所述存储位置，提取所述组合中相邻词作为一个联合词的概率；以及

合并部，其被配置为根据所提取的概率对所述组合中的各个词进行拼接。