[发明专利]在文本中确定语义关键词的方法和装置

权利要求书

1.一种在文本中确定语义关键词的方法，包括：

在网络资源中进行挖掘，获得词或词组与所述词或词组作为语义关键词的概率的二元组集合；

在所述文本中抽取样本集合，基于所获得的所述二元组集合在所述样本集合中获取正样本集合；

将所述样本集合去除所述正样本集合后的集合中的每一个样本与所述正样本集合中的正样本进行比较，根据比较的相似度结果来获得负样本集合；

从所述样本集合去除所述正样本集合后的集合中再去除所述负样本集合来获得未标注样本集合；以及

基于所述正样本集合、所述负样本集合和所述未标注样本集合，利用分类算法来迭代训练语义关键词识别模型，基于所述语义关键词识别模型来获得语义关键词集合和/或非语义关键词集合。

2.根据权利要求1所述的方法，其中，在网络资源中进行挖掘，获得词或词组与所述词或词组作为语义关键词的概率的二元组集合包括：在互联网网页中挖掘锚文本得到锚文本集合，根据锚文本集合中的词或词组在所述互联网网页中作为锚文本和普通文本分别出现的次数来计算该词或词组作为语义关键词的概率，和/或基于查询日志进行挖掘，根据挖掘出的词或词组作为查询词在查询日志中出现的次数和所述查询日志中所有的词或词组出现次数的总和来计算该词或词组作为语义关键词的概率。

3.根据权利要求1所述的方法，其中，在所述文本中抽取样本集合，根据所获得的所述二元组集合在所述样本集合中获取正样本集合的步骤包括：

在所述文本中抽取n元语法元素组成n元语法元素集合；

遍历所述n元语法元素集合，如果某个n元语法元素是所获得的二元组集合中的词或词组，则将该n元语法元素作为候选语义关键词加入到候选语义关键词集合中；以及

遍历所述候选语义关键词集合，将每个候选语义关键词按照其在所述二元组集合中的概率从大到小排序，取前k个候选语义关键词作为正样本集合，其中k为正整数。

4.根据权利要求1所述的方法，其中，将所述样本集合去除所述正样本集合后的集合中的每一个样本与正样本集合中的样本进行比较，根据比较的相似度结果来获得负样本集合包括：

对所述样本集合中的每一个样本利用训练特征构建特征向量；

针对所述样本集合去除所述正样本集合后的集合中的每一个样本分别执行如下计算：将样本的特征向量与正样本集合中的每一个正样本的特征向量分别进行比较来计算相似度，对所获得的所有相似度结果求平均值，得到该样本的相似度平均值；以及

将所有样本按照计算得到的相似度平均值从小到大的顺序进行排序，取前r个样本作为负样本集合，其中r为正整数，或者取所得到的相似度平均值小于给定值的所有样本作为负样本集合。

5.根据权利要求1所述的方法，其中，将所述样本集合去除所述正样本集合后的集合中的每一个样本与正样本集合中的正样本进行比较，根据比较的相似度结果来获得负样本集合包括：

对所述样本集合中的每一个样本利用训练特征构建特征向量；

利用所述正样本集合中的所有正样本的特征向量构建正参考向量；

将所述样本集合去除所述正样本集合后的集合中的每一个样本的特征向量与所述正参考向量进行比较来计算相似度；以及

将所有样本按照计算得到的相似度从小到大的顺序进行排序，取前s个样本作为负样本集合，其中s为正整数，或者取相似度小于给定值的所有样本作为负样本集合。

6.根据权利要求1所述的方法，其中，基于正样本集合、负样本集合和未标注样本集合，利用分类算法来迭代训练语义关键词识别模型，基于所述语义关键词识别模型来获得语义关键词集合和非语义关键词集合包括：

使用所述正样本集合和所述负样本集合训练语义关键词识别模型；

利用所述语义关键词识别模型对所述未标注样本集合中的样本进行分类，将所述未标注样本集合中被所述识别模型识别为正的样本加入到所述正样本集合中和/或将所述未标注样本集合中被所述语义关键词识别模型识别为负的样本加入到所述负样本集合中；

从所述未标注样本集合中去除被所述识别模型识别为正的样本和/或去除被所述识别模型识别为负的样本；以及

使用修改后的正样本集合、负样本集合以及未标注样本集合重复执行以上步骤，直至达到预定条件。