[发明专利]在文本中确定语义关键词的方法和装置

说明书

技术领域

本发明涉及信息处理领域，更具体地涉及一种在文本中确定语义关键词的方法和装置。

背景技术

随着文本信息快速增长，如何从海量、非结构化的文本内容中挖掘出能够表示文本语义信息的语义关键词是智能信息处理领域亟待解决的问题之一，利用文本的语义关键词能够更有效地进行文本信息的表示、索引、共享和检索，同时支持多种应用，如基于内容的广告词推荐系统、问答系统、查询词的精简、扩展系统以及辅助话题追踪系统等等。

因此，需要一种能够在文本中确定语义关键词的方法和装置。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供一种在文本中确定语义关键词的方法，包括：在网络资源中进行挖掘，获得词或词组与所述词或词组作为语义关键词的概率的二元组集合；在所述文本中抽取样本集合，基于所获得的所述二元组集合在所述样本集合中获取正样本集合；将所述样本集合去除所述正样本集合后的集合中的每一个样本与所述正样本集合中的正样本进行比较，根据比较的相似度结果来获得负样本集合；从所述样本集合去除所述正样本集合后的集合中再去除所述负样本集合来获得未标注样本集合；以及基于所述正样本集合、所述负样本集合和所述未标注样本集合，利用分类算法来迭代训练语义关键词识别模型，基于所述语义关键词识别模型来获得语义关键词集合和/或非语义关键词集合。

根据本发明的一个方面，提供了一种在文本中确定语义关键词的装置，包括：二元组集合挖掘单元，被配置为在网络资源中进行挖掘，获得词或词组与所述词或词组作为语义关键词的概率的二元组集合；正样本集合构建单元，被配置为在所述文本中抽取样本集合，基于所获得的所述二元组集合在所述样本集合中获取正样本集合；负样本集合构建单元，被配置为将所述样本集合去除所述正样本集合后的集合中的每一个样本与所述正样本集合中的正样本进行比较，根据比较的相似度结果来获得负样本集合；未标注样本集合构建单元，被配置为从所述样本集合去除所述正样本集合后的集合中再去除负样本集合来获得未标注样本集合；以及语义关键词确定单元，被配置为基于所述正样本集合、所述负样本集合和所述未标注样本集合，利用分类算法来迭代训练语义关键词识别模型，基于所述语义关键词识别模型来获得语义关键词集合和/或非语义关键词集合。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出了根据本发明的一个实施例的在文本中确定语义关键词的方法的流程图；

图2是示出图1中的步骤S104的一种示例性过程的流程图；

图3是示出图1中的步骤S106的一种示例性过程的流程图；

图4是示出图1中的步骤S106’的另一种示例性过程的流程图；

图5是示出图1中的步骤S110的一种示例性过程的流程图；

图6是示出根据本发明的一个实施例的在文本中确定语义关键词的装置600的示例性配置的框图；

图7是示出图6中的正样本集合构建单元604的一种示例性配置的框图；

图8是示出图6中的负样本集合构建单元606的一种示例性配置的框图；

图9是示出图6中的负样本集合构建单元606’的另一种示例性配置的框图；

图10是示出图6中的语义关键词确定单元610的一种示例性配置的框图；以及

图11是示出可以用于实施本发明的在文本中确定语义关键词的装置和方法的计算设备的示例性结构图。

具体实施方式