[发明专利]用于维护语料库的方法、系统和计算机可读存储介质

说明书

技术领域

本发明涉及管理语料库中的数据源，并且更具体地，涉及识别用于摄入到语料库中的新数据源或确定语料库中存储的当前数据源是否过时。

背景技术

自然语言处理(NLP)是关注计算机和人类语言之间的交互的计算机科学、人工智能和语言学的一个领域。为了与人类进行交互，自然语言计算系统可以使用被解析并注释的数据存储(即：语料库)。例如，计算系统可以利用语料库，通过将问题与数据存储中的注释相关联以识别由人类用户提出的问题的答案。

在自然语言处理计算系统能够和用户进行交互之前，语料库由不同的文本文档填充。此外，注释器可以解析语料库中的文本以生成有关文本的元数据。利用元数据和存储的文本，自然语言处理计算处理计算系统可以与用户交互以例如，答案一个提出的问题、基于提供的症状诊断疾病、评估金融投资等。从某种意义上来说，语料库就像自然语言计算系统的“大脑”。

US8140335公开了一种会话式自然语言语音用户界面，可以提供集成语音导航服务环境。该语音用户界面可以使用户能够提出与各种导航服务有关的自然语言请求，并且进一步可以以一种合作、对话的方式与用户交互来解决请求。除此之外，通过动态意识到上下文，信息、领域知识、用户行为和偏好的可用资源，以及外部系统和设备，语音用户界面可以提供集成环境，其中用户可以对话式地、利用自然语言发出查询、命令或其他与环境中提供的导航服务有关的请求。

US7562009公开了一种用于自然语言处理的系统和方法，包括一种用于提供共享知识库的黑板数据结构，其上，自然语言代理集合可以在可处理数据表格上执行处理，每个代理能够提供可用于服务请求的处理资源，以在可处理数据表格上执行自然语言处理，并且基于他们各自的能力以及对黑板的检查确定他们能够对用于处理的哪些请求提供最好地服务；以及用于协调注册代理的工作的分配器，维护要完成任务的高级描述以向给定的自然语言工程问题提供解决方案，并确定能够向给定的自然语言工程问题提供最好地解决方案的注册代理。

US6601026公开了一种自然语言信息查询系统，包括被配置为基于一个或多个预定义的语法自动生成更新文本源的索引的索引机构，以及与该索引机构耦合以存储用于后续检索的索引的数据库。

发明内容

这里描述的实施例包括一种系统、计算机程序产品和方法，用于接收用于由自然语言处理系统处理的查询并通过将查询的一个或多个元素与数据源关联来识别与查询相关的数据源。当确定相关的数据源不在自然语言处理系统的语料库中，系统和计算机程序产品将相关的数据源摄入到语料库中。当确定相关的数据源在自然语言处理系统的语料库中，系统和计算机程序产品确定与查询关联的时间敏感度的值，指示查询的准确答案依赖于相关的数据源的过时性的程度。当确定时间敏感度的值满足过时性的阈值，系统和计算机程序产品将相关的数据源重新摄入到语料库中。

根据第一方面，提供了一种用于维护自然语言处理(NLP)系统中语料库的系统，包括：存储器，包括程序，当程序在计算机处理器上执行时执行以下操作：响应于接收用于由所述自然语言处理系统处理的查询，通过将所述查询的一个或多个元素与所述数据源关联识别与所述查询相关的数据源；当确定所述相关的数据源不在所述自然语言处理系统的语料库中，将相关的数据源摄入到所述语料库中；以及当确定所述相关的数据源在所述自然语言处理系统的所述语料库中：确定与所述查询关联的时间敏感度的值，指示所述查询的准确答案依赖于所述相关的数据源的过时性的程度，并且当确定所述时间敏感度的值满足过时性的阈值，将所述相关的数据源重新摄入到所述语料库中。