[发明专利]一种领域词库构建方法和装置

权利要求书

1.一种领域词库构建方法，其特征在于，所述方法包括：

确定待构建词库的领域；

根据所述领域获取对应的领域文本；

从所述领域文本中提取所有关键词，得到初始词库；

对所述初始词库中的多个关键词进行标记，构建得到训练数据集；

利用所述训练数据集对预设的预训练模型进行训练；

利用经过训练的预训练模型对所述初始词库中的关键词进行预测，根据预测结果得到领域词库。

2.根据权利要求1所述的方法，其特征在于，所述对所述初始词库中的多个关键词进行标记，构建得到训练数据集，包括：

对所述初始词库中的第一预设数量的关键词作出保留标记，以及，

对所述初始词库中的第二预设数量的关键词作出删除标记；并且，

所述第一预设数量和所述第二预设数量之间存在预设的比例关系。

3.根据权利要求2所述的方法，其特征在于，所述利用所述训练数据集对预设的预训练模型进行训练，包括：

将所述训练数据集按照预设的训练比例分为训练数据子集、验证数据子集和测试数据子集；

基于所述预训练模型构建多个分类器，并利用所述训练数据子集对所述多个分类器进行训练；

利用所述验证数据子集对经过训练的多个分类器进行验证，并选取准确度最高的分类器作为所述经过训练的预训练模型；

利用所述测试数据子集对所述经过训练的预训练模型进行测试，并记录测试准确度。

4.根据权利要求3所述的方法，其特征在于，所述利用经过训练的预训练模型对所述初始词库中的关键词进行预测，根据预测结果得到领域词库，包括：

利用所述经过训练的预训练模型对所述初始词库中的关键词进行预测，选择预测结果为保留的关键词作为所述领域词库。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述预训练模型采用预训练bert模型。

6.一种领域词库构建装置，其特征在于，所述装置包括：

确定模块，用于确定待构建词库的领域；

获取模块，用于根据所述领域获取对应的领域文本；

提取模块，用于从所述领域文本中提取所有的关键词，得到初始词库；

标记模块，用于对所述初始词库中的多个关键词进行标记，构建得到训练数据集；

训练模块，用于利用所述训练数据集对预设的预训练模型进行训练；

领域词库构建模块，用于利用经过训练的预训练模型对所述初始词库中的关键词进行预测，根据预测结果得到领域词库。

7.根据权利要求6所述的装置，其特征在于，所述标记模块还包括：

保留标记子模块，用于对所述初始词库中的第一预设数量的关键词作出保留标记；

删除标记子模块，用于对所述初始词库中的第二预设数量的关键词作出删除标记；其中，

所述第一预设数量和所述第二预设数量之间存在预设的比例关系。

8.根据权利要求7所述的装置，其特征在于，所述训练模块还包括：

分类子模块，用于将所述训练数据集按照预设的训练比例分为训练数据子集、验证数据子集和测试数据子集；

训练子模块，用于基于所述预训练模型构建多个分类器，并利用所述训练数据子集对所述多个分类器进行训练；

验证子模块，用于利用所述验证数据子集对经过训练的多个分类器进行验证，并选取准确度最高的分类器作为所述经过训练的预训练模型；

测试子模块，用于利用所述测试数据子集对所述经过训练的预训练模型进行测试，并记录测试准确度。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至5中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

所述计算机程序被处理器执行时能实现根据权利要求1至5中任意一项所述的方法。