[发明专利]关键词提取方法、装置、电子设备及存储介质

说明书

本发明涉及人工智能领域，揭露一种关键词提取方法，包括：将样本集中每个样本的第一词语集合拆分为关键词集合和非关键词集合；将样本集输入关键词提取模型，得到关键词集合中每个词语作为关键词的第一预测值，和非关键词集合中每个词语作为关键词的第二预测值；基于第一预测值及第二预测值的大小关系确定目标损失函数，通过最小化目标损失函数训练关键词提取模型；将目标文本输入训练好的关键词提取模型，得到关键词提取结果。本发明还提供一种关键词提取装置、电子设备及存储介质。本发明提升了模型泛化能力，并提高了关键词提取准确性。

技术领域

本发明涉及人工智能领域，尤其涉及一种关键词提取方法、装置、电子设备及存储介质。

背景技术

随着信息化时代的到来，海量信息纷涌而至，如何从海量信息中查找感兴趣的信息呢？当前，通常通过关键词提取模型提取信息中的关键词，以根据提取到的关键词筛选感兴趣的信息。

关键词提取模型通常是通过最小化交叉熵损失函数训练得到的，这种方式设定的标签太过绝对(非0即1)，使得模型为了靠近0或1，而产生过拟合现象，另外这种方式对于样本不均衡的领域，提取的关键词的准确度不高。因此，亟需一种关键词提取方法，以提升模型泛化能力，并提高关键词提取的准确性。

发明内容

鉴于以上内容，有必要提供一种关键词提取方法、装置、电子设备及存储介质，旨在提升模型泛化能力，并提高关键词提取的准确性。

本发明提供的关键词提取方法，包括：

获取携带关键词信息的样本集，对所述样本集中每个样本进行分词处理，得到所述样本集中每个样本对应的第一词语集合，基于所述关键词信息将所述样本集中每个样本的第一词语集合拆分为关键词集合和非关键词集合；

将所述样本集输入关键词提取模型，得到所述样本集中每个样本对应的关键词集合中每个词语作为关键词的第一预测值，和非关键词集合中每个词语作为关键词的第二预测值；

基于所述第一预测值及第二预测值的大小关系确定目标损失函数，通过最小化所述目标损失函数以确定所述关键词提取模型的结构参数，得到训练好的关键词提取模型；

响应用户基于客户端发出的针对目标文本的关键词提取请求，确定所述目标文本待提取的关键词数量，将所述目标文本输入所述训练好的关键词提取模型，得到所述目标文本中每个词语作为关键词的第三预测值，基于所述关键词数量及第三预测值确定关键词提取结果。

可选的，所述基于所述第一预测值及第二预测值的大小关系确定目标损失函数，包括：

为实现所述样本集中每个样本对应的关键词集合中任一词语的第一预测值大于其非关键词集合中任一词语的第二预测值的目标，生成初始损失函数；

根据所述样本集中样本的标注误差，修正所述初始损失函数，得到目标损失函数。

可选的，所述将所述样本集输入关键词提取模型，得到所述样本集中每个样本对应的关键词集合中每个词语作为关键词的第一预测值，和非关键词集合中每个词语作为关键词的第二预测值，包括：

将所述样本集输入所述关键词提取模型的词向量转换网络执行词向量转换处理，得到所述样本集中每个样本对应的关键词集合和非关键词集合中每个词语的词向量；

将所述词向量输入所述关键词提取模型的句向量提取网络执行句向量提取处理，得到所述样本集中每个样本对应的句向量；

拼接所述句向量及词向量，得到所述样本集中每个样本对应的关键词集合和非关键词集合中每个词语的融合特征；

将所述融合特征输入所述关键词提取模型的关键词识别网络执行关键词识别处理，得到所述样本集中每个样本对应的关键词集合中每个词语作为关键词的第一预测值，和非关键词集合中每个词语作为关键词的第二预测值。