[发明专利]信息处理器、处理信息的方法以及程序

说明书

技术领域

本发明涉及一种信息处理器、处理信息的方法以及程序，并且具体涉及优选地在基于文档中的上下文信息(例如，专有名词和出现在其前或后的预定数量的词组)执行统计自然语言处理的情形中使用的信息处理器、处理信息的方法以及程序，其中所述统计自然语言处理诸如同义词分析、多义词分析、两个名词之间的相关性分析、以及词的特性(modality)分析。

背景技术

过去，广泛地通过统计地分析(执行统计自然语言处理)大量文档来尝试获取知识。例如，在未开发同义词词库(thesaurus)的专门领域中，通过对该专门领域中的文档执行统计自然语言处理来执行该领域的辞典的自动创建等。以此方式获取的知识可被用于例如信息检索等的应用程序中。

在统计自然语言处理中，频繁地使用上下文信息的特征量(意味着包含文档中的关注词的词组以及出现在其前或后的预定数量的词)。然后，通过计算上下文信息的特征量的相似性，对关注词进行同义词分析、多义词分析、两个名词之间的相关性分析、词的特性分析等。例如，在2004年计算语言学协会会议学报(Proceedings of the Conference of the Association for Computational Linguistics 2004)中的Takaaki Hasegawa、Satoshi Sekine和RalphGrishman的“Discovering Relations among Named Entities from Large Corpora”中，利用上下文信息的特征量，用于专有名词的相关性的同义词分析。

发明内容

过去使用上下文信息的统计自然语言处理基于“相邻词互相相关”的假设。然而，该假设并非在所有情况下都适用。即，虽然构成上下文信息的每个词与关于包含该上下文信息的整个文档的主题(题目)相关，但其可能不直接与关于该上下文信息的主题相关。在过去对这种上下文信息进行统计自然语言处理的情况下，会导致分析结果的误差。

因此，应该建立如下的利用上下文信息的统计自然语言处理：甚至在基于“相邻词互相相关”的假设时，也考虑该假设不成立的可能性。

期望能够建立如下的利用上下文信息的统计自然语言处理：甚至在基于“相邻词互相相关”的假设时，也考虑该假设不成立的可能性。

本发明的一个实施例是对文档执行统计自然语言处理的信息处理器，该信息处理器包括：特征量提取组件，用于从所述文档中检测包含专有名词对的上下文信息，并提取所检测的上下文信息的特征量；特征量分析组件，用于通过使用概率模型分析所提取的上下文信息的特征量而估计所述概率模型中的潜在变量和上下文主题比率(ratio)，其中在所述概率模型中，考虑意味着所述文档的整个主题的文档主题和意味着所述文档的局部主题的上下文主题；以及聚类(clustering)组件，用于基于关于各个上下文信息的特征量而估计的上下文主题比率，聚类包含在所述上下文信息中的专有名词对。

本发明的另一实施例是所述信息处理器，其还可以包括基本信息产生组件，用于基于聚类包含在所述上下文信息中的专有名词对的结果，产生对应于所述上下文信息的基本信息。

本发明的再一实施例是所述信息处理器，其还可以包括选择组件，用于基于关于各个上下文信息的特征量而估计的上下文主题比率，选择所述特征量中的元素。

所述特征量分析组件还可以通过使用所述概率模型分析所提取的上下文信息的特征量，来估计所述文档主题和所述上下文主题的混合比率。

所述特征量提取组件可以包括：检测组件，用于检测所述文档中的专有名词；照应语(anaphora)分析组件，用于对所述文档执行照应语分析；提取组件，用于在照应语分析的文档中设置专有名词对，并提取包含所述专有名词对之前和之后的多个词并包含所述专有名词对的上下文信息；以及设置组件，用于仅将从所提取的上下文信息中留下的、在预先准备的词典中注册的词设置为所述上下文信息的特征量。

所述统计自然语言处理可以是同义词分析、多义词分析、两个名词之间的相关性分析或词的特性分析。