[发明专利]基于分布式表达词向量计算的关键词自动提取方法

摘要

本发明涉及一种基于分布式表达词向量计算的关键词自动提取方法，该方法自动生成特征，更好地解决关键词自动提取，其步骤如下：步骤一，训练原始数据集的获得；步骤二，训练集和测试文本的预处理，包括：去标点、数字、停用词以及词性过滤；步骤三，得到训练集后，通过语言模型的训练将其转化为词向量表；步骤四，通过距离计算的方法，算出关键字词向量到待测试文本的距离；步骤五，由不同距离计算方法，分别得到领域关键词集所有关键词的分布式表达词向量到测试文本所有单词的分布式表达词向量的算术平均语义距离，从而进行选择和排序。该方法为关键词提取提供了新思路，可以充分利用数据集的语义信息，并显著提高了自动提取的准确性。

主权项

1.一种基于分布式表达词向量计算的关键词自动提取方法，其特征在于，该方法的具体操作步骤如下：/n步骤一，训练原始数据集的获得；领域关键词集的建立，初始训练集的建立，测试样本集的建立；/n步骤二，训练集和测试文本的预处理，包括：去标点、数字、停用词以及词性过滤；/n步骤三，得到训练集后，通过语言模型的训练将其转化为词向量表；/n步骤四，通过距离计算的方法，算出关键字词向量到待测试文本的距离；/n步骤五，由不同距离计算方法，分别得到领域关键词集所有关键词的分布式表达词向量到测试文本所有单词的分布式表达词向量的算术平均语义距离，从而进行选择和排序；/n所述的步骤三的词向量训练的具体操作是得到训练集后，通过语言模型的训练将其转化为词向量表；分布式表达的词向量获得伴随着语言模型的训练集，借助于语言模型的概率参数，估算出训练样本中任意句子是否为有序的自然语言；训练语言模型的过程就是从大量未标注的普通文本数据中无监督地调整和优化模型参数，同时学习出词向量；通过语言模型的训练，文本内容被转化为维数向量空间的词向量集，其中包含了单词本身及其对应的一定维数的浮点数向量；每个词向量用换行符表示结束，此词向量集将作为输入用于接下来的对于测试文本的关键词提取。/n