[发明专利]一种领域词库构建方法和装置

说明书

本公开提供一种领域词库构建方法和装置，方法包括：确定待构建词库的领域；根据领域获取对应的领域文本；从领域文本中提取所有关键词，得到初始词库；对初始词库中的多个关键词进行标记，构建得到训练数据集；利用训练数据集对预设的预训练模型进行训练；利用经过训练的预训练模型对初始词库中的关键词进行预测，根据预测结果得到领域词库。本公开实施例的一种领域词库构建方法和装置中，根据特定的领域获取领域文本、提取其中的关键词，进行关键词的标记构建训练数据集，对预训练模型进行训练，对领域词语进行预测，构建领域词库，在关键词提取的基础上进行模型训练，提高预训练模型训练的效率和准确度，从而提高构建词库的效率和准确度。

技术领域

本公开属于计算机技术领域，具体涉及一种领域词库构建方法和装置。

背景技术

特定领域的信息检索依赖有效的领域术语作为检索关键词，以工业信息领域为例，工业信息领域发展迅速，新的词汇不断涌现，及时发现并构建领域词库对领域语言理解有着重要作用。在现有技术中，领域词库的构建方法主要包括基于规则的方法和基于统计的方法，基于规则的方法主要是根据领域术语的构词特点、句法特点以及领域特点建立特征模板，然后从语料中抽取与模板相匹配的词语，该方法对规则制定和模板质量要求较高，不能涵盖特定领域的所有语言现象，导致召回率不高；基于统计的方法主要依赖于各种统计量的计算，包括词频、互信息、信息熵等，需要大规模语料库的支撑，对语料的质量也有较高的要求，综上所述，现有的领域词库构建方法中，存在规则制定难度大、移植性差，或者存在新词发现困难、需要大量标记语料的问题。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提供一种领域词库构建方法和装置。

本公开的一个方面，提供一种领域词库构建方法，所述方法包括：

确定待构建词库的领域；

根据所述领域获取对应的领域文本；

从所述领域文本中提取所有关键词，得到初始词库；

对所述初始词库中的多个关键词进行标记，构建得到训练数据集；

利用所述训练数据集对预设的预训练模型进行训练；

利用经过训练的预训练模型对所述初始词库中的关键词进行预测，根据预测结果得到领域词库。

可选的，所述对所述初始词库中的多个关键词进行标记，构建得到训练数据集，包括：

对所述初始词库中的第一预设数量的关键词作出保留标记，以及，

对所述初始词库中的第二预设数量的关键词作出删除标记；并且，

所述第一预设数量和所述第二预设数量之间存在预设的比例关系。

可选的，所述利用所述训练数据集对预设的预训练模型进行训练，包括：

将所述训练数据集按照预设的训练比例分为训练数据子集、验证数据子集和测试数据子集；

基于所述预训练模型构建多个分类器，并利用所述训练数据子集对所述多个分类器进行训练；

利用所述验证数据子集对经过训练的多个分类器进行验证，并选取准确度最高的分类器作为所述经过训练的预训练模型；

利用所述测试数据子集对所述经过训练的预训练模型进行测试，并记录测试准确度。

可选的，所述利用经过训练的预训练模型对所述初始词库中的关键词进行预测，根据预测结果得到领域词库，包括：

利用所述经过训练的预训练模型对所述初始词库中的关键词进行预测，选择预测结果为保留的关键词作为所述领域词库。

可选的，所述预训练模型采用预训练bert模型。