[发明专利]一种关键词抽取方法和装置

说明书

本发明实施例提供了一种关键词抽取方法和装置，该方法和装置应用于自然语言处理系统，具体为获取关键词集合，关键词集合包括多个经人工标注的关键词；计算关键词集合中每个关键词的接收率；根据出现频率和接收率对关键词集合进行处理，得到待补充标注关键词集合，待补充标注关键词集合包括多个待补充标注关键词；对待补充标注关键词进行补充标注。通过对待补充关键词进行补充标注，可以提高高接收率的关键词的抽取概率，防止关键词被遗漏，同时也意味着将低接收的关键词的抽取率进行打压，防止错误标注。通过上述措施有效地提高了了标注数据的质量，避免了较低质量的标注数据对关键词抽取带来的负面影响。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种关键词抽取方法和装置。

背景技术

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统。

关键词抽取是自然语言处理的一项重要的基础技术。根据是否需要带标注的数据，可以将关键词抽取方法分为有监督方法和无监督方法。其中，由于能够利用到丰富的人工标注的标注信息，在特定领域和短文本上，有监督方法将关键词抽取转化为分类/排序的问题，利用条件随机场CRF将关键词抽取转化为序列标注的问题，从而能够取得更好的抽取效果。然而，对于有监督方法来说，标注数据质量的好坏直接决定抽取的最终效果，由于人工标注本身的主观性，获取足够数量的高质量标注数据非常困难，在此情况下，较低质量的标注数据会对关键词抽取的质量带来较大的负面影响。

发明内容

有鉴于此，本发明提供了一种关键词抽取方法和装置，应用于自然语言处理系统，用于提高标注数据的质量，以避免较低质量的标注数据对关键词抽取带来负面影响。

为了解决上述问题，本发明公开了一种

一种关键词抽取方法，应用于自然语言处理系统，其中，所述关键词抽取方法包括步骤：

获取关键词集合，所述关键词集合包括多个经人工标注的关键词；

计算所述关键词集合中每个关键词的接受率；

根据所述关键词的标记次数和所述接受率对所述关键词集合进行处理，得到待补充标注关键词集合，其中，所述待补充标注关键词集合包括多个待补充标注关键词；

对所述待补充标注关键词进行补充标注。

可选的，所述获取关键词集合，包括：

获取人工标注数据集；

对所述人工标注数据集进行统计，得到所述关键词合集。

可选的，所述计算所述关键词集合中每个关键词的接受率，包括：

将所述关键词的标记次数除以出现次数，得到所述接受率。

可选的，所述根据所述关键词的标记次数和所述接受率对所述关键词集合进行处理，得到待补充标注关键词集合，包括：

将所述关键词合集中标记次数低于预设次数阈值的关键词予以滤除；

将经过上述处理后接受率低于预设接受率阈值的关键词予以滤除，得到所述待补充标注关键词集合。

相应的，为了保证上述方法的实施，本发明还提供了一种关键词抽取装置，应用于自然语言处理系统，所述关键词抽取装置包括：

集合获取模块，用于获取关键词集合，其中，所述关键词集合包括多个经人工标注的关键词；