[发明专利]用于关键字提取的方法

说明书

背景技术

随着计算机和互联网的出现，世界已经经历了前所未有的信息爆炸。印刷品过去主导表示媒介的日子已经一去不复返了。互联网已经改变了人们消费数据的方式。找到现今所印刷的几乎所有其他文档的数字版本是非常常见的。这样大量的数字化虽然在许多方面极为有益，但是也有其自身的限制。总是存在找到正确的信息或数据的这一迫切问题。因此，文档搜索仍然是最具挑战性的研究领域之一。

关键字或关键字提供一种用于表征文本文档的有价值的机制。关键字提供一种在文档或文档全集（corpus）中搜索信息的有意义的方式。在传统上，关键字由作者、图书管理员、专业的索引编制员和编目员人工地指定。然而，随着每天成千上万的文档得到数字化，人工指定不再可能。基于计算机的自动关键字提取是这一问题的自然结果。在过去的几年里已经提出了许多种关键字提取方法。在一些方法中，所述问题被制定为有监督的分类问题，并且基于加标记的训练数据集对分类器进行训练。在一些其他方法中，关键字提取被制定为排序问题，并且根据一些度量对候选字进行排序。然而，现有方法具有其自身的限制。举例来说，现有方法没有明确地考虑候选关键字与文档之间的语义关系。此外，所提取的关键字受限于文档内容。

附图说明

为了更好地理解本发明，现在将纯粹通过示例的方式参照附图来描述实施例，其中：

图1示出根据一个实施例的计算机实施的关键字提取的方法的流程图。

图2示出根据一个实施例的图1的方法的一个子例程的流程图。

图3示出根据一个实施例的图1的方法的另一子例程的流程图。

图4示出可以在其上实施一个实施例的计算机系统400的框图。

具体实施方式

在包括附图在内的整个本文档中，下面的术语可以被互换地使用。

（a）“关键字”和“关键短语”

（b）“文档”和“电子文档”。

本发明的实施例提供用于从可能存在于文档全集中的文档提取关键字的方法、计算机可执行代码和计算机存储介质。具体来说，所公开的方法涉及文档内关键字提取方法和全集内关键字提取方法。前者提取出现在单个文档内的关键字；后者提取出现在全集内（可能未出现在所述文档内）的关键字。

图1示出根据一个实施例的提取关键字的方法100的流程图。方法100可以在计算机系统（或计算机可读介质）上被执行。

所述方法开始于步骤110。在步骤110中，获得或访问文档全集。所述文档全集可以从储存库获得，所述储存库可以是电子数据库。所述电子数据库可以是内部数据库（例如公司的内联网）或者外部数据库（例如维基百科（Wikipedia））。此外，所述电子数据库可以被存储在独立的个人计算机上，或者可以分散在利用有线或无线技术联网在一起的许多计算机器上。举例来说，所述电子数据库可以被寄放（host）在通过广域网（WAN）或互联网连接的许多服务器上。

在步骤120中，从文档全集中选择文档，并且确定作为关键字出现在所述文档中的字集合。在选择作为关键字出现在所述文档中的字集合中所涉及的方法步骤在下面参照图2被更详细地描述。在本步骤中，只要说可以选择存在于文档全集中的任何文档并且可以确定作为关键字出现在所述文档中的第一字集合就够了。此外，可以针对存在于文档全集中的任何数目的文档来重复本步骤。

在步骤130中，可以确定出现在文档全集中的字集合。这样的字集合可能不一定出现在步骤120中所选择的文档中。在确定出现在文档全集中但是可能不一定作为关键字出现在较早所选的文档中的第二字集合中所涉及的方法步骤在下面参照图3被更详细地描述。本步骤130是关于文档全集而执行的。

在步骤140中，确定所述文档的最终关键字集合。该步骤涉及把在步骤120中确定的第一字集合与在步骤120中确定的第二字集合相组合。一旦完成了对于步骤120和130所概述的方法步骤，就出现了被一起用来确定在步骤120中所选择的文档的最终关键字集合的两个关键字集合。

图2示出根据一个实施例的图1的方法的一个子例程的流程图。该流程图详细地描述方法步骤120。所述子例程可以被称作文档内关键字提取方法。在一个实施例中，所述方法涉及下列模块：统计话题建模的学习，统计话题建模的推断，名词短语分块，以及基于话题的名词短语评分。如下利用在下面的表1中提供的用在其中的标记法来描述所述方法的主要步骤。

表1

标记法