[发明专利]一种关键词提取方法及装置

权利要求书

1.一种关键词提取方法，其特征在于，包括：

从待提取文档中提取多个候选词素，基于词素重要度模型计算每个候选词素的重要度；

按照预设规则对所述多个候选词素进行排列组合，生成多个候选短串，

从短串完整度模型中获取每个候选短串的目标转移概率和目标相似性替换概率，根据所述每个候选短串的目标转移概率和目标相似性替换概率，计算所述每个候选短串的完整度，所述短串完整度模型中包含多个短串、所述短串的转移概率和所述短串的相似性替换概率，所述转移概率表示所述短串转移为与所述短串不同的第一短串的概率，所述相似性替换概率表示所述短串替换为与所述短串具有共同词素的第二短串的概率；

按照重要度的排列顺序从所述多个候选词素中选择第一数量的候选词素；

按照完整度的排列顺序从所述多个候选短串选择第二数量的候选短串；

将所述第一数量的候选词素和所述第二数量的候选短串确定为所述待提取文档的关键词。

2.根据权利要求1所述的方法，其特征在于，所述从待提取文档中提取多个候选词素，基于词素重要度模型计算每个候选词素的重要度之前，还包括：

去除待提取文档中的停用词；

所述从待提取文档中提取多个候选词素，包括：

根据预存的词条字典，对去除所述停用词之后的待提取文档进行切词，并提取多个候选词素，所述词条字典中包含多个词素和多个短串。

3.根据权利要求1所述的方法，其特征在于，所述词素重要度模型中包含多个特征、所述特征对应的特征值和所述特征对应的权重；

所述基于词素重要度模型计算每个候选词素的重要度，包括：

获取每个候选词素对应的多个目标特征；

在所述词素重要度模型中查找每个目标特征对应的目标特征值和目标权重；

根据所述每个目标特征对应的目标特征值和目标权重，计算所述每个候选词素的重要度。

4.根据权利要求3所述的方法，其特征在于，所述基于词素重要度模型计算每个候选词素的重要度之前，还包括：

基于多个用户的文档搜索日志和文档点击日志，提取所述文档搜索日志和文档点击日志的训练词素；

获取所述文档搜索日志和文档点击日志中用于词素重要度模型的训练数据，所述训练数据包括搜索词、共有词素和点击率，所述共有词素表示所述搜索词与根据所述搜索词搜索到的文档中共同存在的词素，所述点击率表示根据所述搜索词搜索到的且包含所述共有词素的文档的展示次数和所述文档被用户点击的次数的比值；

获取每个训练词素对应的特征集和所述特征集中每个特征对应的特征值，所述特征集包括固有属性、词素所属的类别和深度语义，所述固有属性包括专有名词类型、逆向文件频率IDF、词性、长度、语言类型、位置中的至少一个；

根据所述训练数据中所述每个共有词素的点击率、每个训练词素对应的特征集和所述特征集中每个特征的特征值，训练获得所述每个特征对应的权重。

5.根据权利要求4所述的方法，其特征在于，当所述词素的特征为所述词素所属的类别时，所述获取每个训练词素对应的特征集和所述特征集中每个特征对应的特征值，包括：

从多个参考文档中提取词素，并确定所述多个参考文档中每个参考文档所属的类别；

确定属于目标类别且包含目标词素的参考文档的第一数量，以及确定包含所述目标词素的参考文档的第二数量，所述目标类别为所述多个参考文档所属的全部类别中的任一类别，所述目标词素为所提取的词素中的任一词素；

根据所述第一数量和所述第二数量，计算所述目标词素属于所述目标类别的概率；

将所述概率确定为所述目标词素属于所述目标类别的特征值。