[发明专利]新词发现方法、装置、设备以及存储介质

说明书

本申请实施例公开了一种新词发现方法、装置、设备以及存储介质，可适用于人工智能、云技术以及数据库等领域。该方法包括：确定待预测语句中各字对应的初始特征序列，将初始特征序列输入语言模型得到待预测语句中各字对应的预测特征序列；基于预测特征序列确定待预测语句中的新词。采用本申请实施例，可高效准确地确定出新词，适用性高。

技术领域

本申请涉及人工智能领域，尤其涉及一种新词发现方法、装置、设备以及存储介质。

背景技术

在互联网快速发展的时代，随着内容生产的门槛降低，各种内容的发布量以指数级的速度增长，即时发现海量内容中的新词成为内容处理环节中的重中之重。

常见的新词发现方法往往是基于统计的方式或者基于模型预测来确定海量内容中的新词，前者效率低下，后者由于新词往往是新出现的词，模型往往难以准确发现新词。因此，如何高效准确地确定海量内容中的新词成为亟需解决的问题。

发明内容

本申请实施例提供一种新词发现方法、装置、设备以及存储介质，可高效准确地确定出新词，适用性高。

一方面，本申请实施例提供一种新词发现方法，该方法包括：

确定待预测语句中各字对应的初始特征序列，将上述初始特征序列输入语言模型得到上述待预测语句中各字对应的预测特征序列；基于上述预测特征序列确定上述待预测语句中的新词；

其中，上述语言模型是基于以下方式训练得到的：

获取训练样本集，上述训练样本集中包括多个样本语句；

对于每一上述样本语句，确定该样本语句的初始词序列，将上述初始词序列中的待预测词替换为预设掩码字符，得到第一词序列，确定该样本语句的初始字序列，将上述初始字序列中对应于上述待预测词的待预测字替换为上述预设掩码字符，得到第一字序列，基于该样本语句的第一词序列和第一字序列，确定该样本语句对应的样本特征序列；

对于每一样本语句，将该样本语句对应的样本特征序列输入初始语言模型，得到该样本语句中各字对应的样本预测特征序列，基于上述样本预测特征序列确定该样本语句中待预测词对应的预测词；

基于各上述样本语句中待预测词和对应的预测词，确定训练损失值，根据上述训练损失值和上述训练样本集对上述初始语言模型进行迭代训练，直至上述训练损失值符合训练结束条件时，将训练结束时的模型确定为上述语言模型。

另一方面，本申请实施例提供了一种新词发现装置，该装置包括：

特征处理模块，用于确定待预测语句中各字对应的初始特征序列，将上述初始特征序列输入语言模型得到上述待预测语句中各字对应的预测特征序列；

新词确定模块，用于基于上述预测特征序列确定上述待预测语句中的新词；

其中，上述语言模型是基于模型训练装置训练得到的，上述模型训练装置用于：

获取训练样本集，上述训练样本集中包括多个样本语句；

对于每一上述样本语句，确定该样本语句的初始词序列，将上述初始词序列中的待预测词替换为预设掩码字符，得到第一词序列，确定该样本语句的初始字序列，将上述初始字序列中对应于上述待预测词的待预测字替换为上述预设掩码字符，得到第一字序列，基于该样本语句的第一词序列和第一字序列，确定该样本语句对应的样本特征序列；

对于每一样本语句，将该样本语句对应的样本特征序列输入初始语言模型，得到该样本语句中各字对应的样本预测特征序列，基于上述样本预测特征序列确定该样本语句中待预测词对应的预测词；