[发明专利]一种关键词抽取效果评估方法

说明书

本发明公开的关键词抽取效果评估方法，涉及文本分析技术领域，分别对分类语料的关键词及词向量进行聚类，得到两个聚类结果，根据两个聚类结果，对关键词抽取效果进行评估，提高了关键词抽取效果评估的准确度及效率。

技术领域

本发明属于文本分析技术领域，具体涉及一种关键词抽取效果评估方法。

背景技术

关键词抽取是从文本或文本集合中自动抽取主题性或重要性的词或短语，为了对关键词抽取的效果进行评估，现有的方案是将人工标注的关键词作为测试数据，然后通过计算准确率、召回率及F值对关键词抽取结果进行评估。但该方案存在以下缺陷：

不同与分类、实体识别等任务，关键词抽取语料的标注难度要高很多，需要相关专业知识，人工标注的结果普遍存在一致性差、准确度低等问题，对得到的评估结果依旧需要人工反复检查确认才能作出最终的评估结果，导致关键词抽取效果评估的准确度及效率较低。

发明内容

针对现有技术存在的缺陷，本发明实施例提供了一种关键词抽取效果评估方法，该方法包括：

随机抽取分类语料的n个关键词并利用聚类算法，对所述n个关键词进行聚类，得到第一聚类结果，其中，n为大于零的自然数；

利用词向量生成模型，得到所述标签文件的词向量集并从所述词向量集中随机抽取n个词向量，利用聚类算法，对所述n个词向量进行聚类，得到第二聚类结果；

利用公式分别计算第一聚类结果的熵值E₁及第二聚类结果的熵值E₂，其中，P_j为第一聚类结果或第二聚类结果成员属于类j的概率，m为第一聚类结果或第二聚类结果成员的个数，m_j为第一聚类结果或第二聚类结果成员属于类j的个数，L为第一聚类结果或第二聚类结果的类别个数；

根据公式E＝E2-E1,计算本次关键词抽取结果的评估值并根据所述评估值，判断本次关键词抽取效果的好坏。

优选地，所述方法还包括：

比较熵值E₁及E₂的大小，如果E₁≥E₂,则确定本次关键词抽取结果无效，如果E₁E₂，则确定本次关键词抽取结果有效。

优选地，所述第一聚类结果与第二聚类结果的类别个数相同。

优选地，所述词向量生成模型为word2vec模型。

优选地，所述聚类算法为K均值聚类算法。

本发明实施例提供的关键词抽取效果评估方法具有以下有益效果：

分别对分类语料的关键词及词向量进行聚类，得到两个聚类结果，根据两个聚类结果，对关键词抽取效果进行评估，提高了关键词抽取效果评估的准确度及效率。

具体实施方式

以下结合具体实施例对本发明作具体的介绍。

本发明实施例提供的关键词抽取效果评估方法包括以下步骤：

S101，随机抽取分类语料的n个关键词并利用聚类算法，对所述n个关键词进行聚类，得到第一聚类结果，其中，n为大于零的自然数。

作为一个具体的实施例，分类语料包括新闻类文本、学科类文本(包括科研论文)等。

S102，利用词向量生成模型，得到所述标签文件的词向量集并从词向量集中随机抽取n个词向量，利用聚类算法，对所述n个词向量进行聚类，得到第二聚类结果。