[发明专利]敏感词识别方法、装置、设备、存储介质及程序产品

说明书

本申请公开了一种敏感词识别方法、装置、设备、存储介质及程序产品，该方法包括：基于预先生成的领域字典库，确定待识别文本的字词集合，字词集合中各字词包括头位置信息以及尾位置信息；对字词集合中的各字词进行构字部件拆分，获得各字词对应的构字部件；获取各字词对应的字词向量及各构字部件对应的构字部件向量；并基于各字词的字词向量以及构字部件向量生成字词的输入向量；将字词集合中各字词的头位置信息、尾位置信息以及输入向量输入至预先生成的序列标注模型中，由序列标注模型基于头位置信息、尾位置信息以及输入向量确定各字词的标注结果；根据各字词的标注结果识别出敏感词，以提高敏感词的识别准确率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种敏感词识别方法、一种敏感词识别装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

背景技术

在自动语音识别的内容审核领域，最初通常采用人工审核大量敏感文本，并抽取其中的敏感词语来构建敏感词库，然后通过查找敏感词库来判断语句中是否包含敏感词。这种方法的效率较低，并且敏感词往往是随时间随环境而变化的，因此人工构建的敏感词库往往缺乏准确度、覆盖度以及时效性，这会大大降低敏感信息的检测效果。

后来相关技术中提出了基于统计特征提取敏感词的方法，这种方法大多基于信息熵的计算方法，该方法需要计算文本中词语的频数、凝固度和自由度来确定是否为敏感词，存在的缺点是实际操作计算复杂，并且准确性不高。

近年来，随着深度学习技术不断发展，出现的一些利用深度学习模型提取文本中敏感词的方法，由于深度学习模型可以更好的利用了上下文信息，能够较好的解决一些语句中词语的歧义问题，同时可以识别出更多的低频新词。这些基于深度学习的方法大多需要先对文本进行分词操作，但分词错误往往是由于新词造成的，而语料中有些敏感词属于新词，这样一来分词带来的错误就会进一步影响模型识别敏感词的准确性。另外，目前公开给出的识别敏感词的深度学习模型基本都是基于RNN网络(Recurrent Neural Network，循环神经网络)生成的，这种网络需要迭代运行，无法并行处理，因此模型运行不仅效率低下，而且难以捕获文本的全局语义信息。

发明内容

本申请提供一种敏感词识别方法、装置、设备、存储介质及程序产品，以解决现有技术中的敏感词识别准确率不高的问题。

第一方面，本申请实施例提供了一种敏感词识别方法，所述方法包括：

基于预先生成的领域字典库，确定待识别文本的字词集合，所述字词集合中各字词包括头位置信息以及尾位置信息；

对所述字词集合中的各字词进行构字部件拆分，获得各字词对应的构字部件；

获取各字词对应的字词向量，以及，获取各字词的构字部件对应的构字部件向量；并基于各字词的所述字词向量以及所述构字部件向量生成所述字词的输入向量；

将所述字词集合中各字词的头位置信息、尾位置信息以及输入向量输入至预先生成的序列标注模型中，由所述序列标注模型基于所述头位置信息、所述尾位置信息以及所述输入向量，采用相对位置编码算法确定各输入向量的多维向量表示，并基于所述多维向量表示确定各字词的标注结果，其中，所述序列标注模型包括transformer编码器以及条件随机场解码器；

根据各字词的标注结果识别出敏感词。

第二方面，本申请实施例还提供了一种敏感词识别装置，所述装置包括：

字词集合确定模块，用于基于预先生成的领域字典库，确定待识别文本的字词集合，所述字词集合中各字词包括头位置信息以及尾位置信息；

构字部件获取模块，用于对所述字词集合中的各字词进行构字部件拆分，获得各字词对应的构字部件；