[发明专利]文本审核方法、装置、设备及存储介质

权利要求书

1.一种文本审核方法，其特征在于，包括：

获取待审核文本，并将所述待审核文本输入到文本审核模型中，其中，所述文本审核模型包括预训练语言模型、长短期记忆网络和条件随机场；

基于所述预训练语言模型，获取所述待审核文本中各个字词的字词语义特征向量信息；

基于所述长短期记忆网络和各个所述字词的字词语义特征向量信息，得到各个所述字词的的上下文语义特征向量信息；

通过预置全连接层对各个所述字词的的上下文语义特征向量信进行线性变换，得到各个所述字词的多个标签信息；

基于所述条件随机场对各个所述字词的多个标签信息进行关联学习，获取所述待审核文本中各个字词的审核标签信息；

基于各个所述字词的审核标签信息，确定所述待审核文本是否违规。

2.如权利要求1所述的文本审核方法，其特征在于，所述预训练语言模型包括字典文件和自注意力网络机制；

所述基于所述预训练语言模型，获取所述待审核文本中各个字词的字词语义特征向量信息，还包括：

通过所述字典对所述待审核文本对进行字词切分，得到所述待审核文本中各个字词；

将各个所述字词进行特征向量转换，得到各个所述字词对应的字词向量信息；

将各个所述字词向量信息输入所述自注意力网络机制，得到各个所述字词向量信息的各个语义空间的字词语义向量信息；

通过所述各个语义空间的字词语义向量信息，获取所述自注意力网络模型输出的各个所述字词的字词语义特征向量信息。

3.如权利要求1所述的文本审核方法，其特征在于，所述长短期记忆网络包括输入门、遗忘门和输出门；

所述基于所述长短期记忆网络和各个所述字词的字词语义特征向量信息，得到各个所述字词的的上下文语义特征向量信息，包括：

基于所述输入门和各个所述字词的字词语义特征向量信息，得到对应的第一向量信息和第一单元状态信息；

基于所述遗忘门和各个所述字词的字词语义特征向量信息，得到对应的第二向量信息；

通过第一预置单元状态信息、所述第一向量信息、第一单元状态信息和所述第二向量信息，得到第二单元状态信息；

基于所述输出门、各个所述字词的字词语义特征向量信息以及所述第二单元状态信息，得到各个所述字词的上下文语义特征向量信息。

4.如权利要求1所述的文本审核方法，其特征在于，所述基于所述条件随机场对各个所述字词的多个标签信息进行关联学习，获取所述待审核文本中各个字词的审核标签信息，包括：

通过所述条件随机场中的关联学习机制，获取各个所述字词的各个标签信息的概率；

基于各个所述标签信息的概率，确定各个所述字词的审核标签信息。

5.如权利要求1所述的文本审核方法，其特征在于，所述基于各个所述字词的审核标签信息，确定所述待审核文本是否违规，包括：

统计各个所述字词的审核标签信息中的正常标签，得到对应所述正常标签的正常值；

将获取到的所述正常值与预置标签值进行比对；

若各个所述字词的正常值大于或等于所述预置标签值，则确定所述待审核文本不是违规文本；

若各个所述字词的正常值小于所述预置标签值，则确定所述待审核文本为违规文本。

6.如权利要求1所述的文本审核方法，其特征在于，所述获取待审核文本之前，还包括：

对获取到的文本中的字词进行字词粒度标注，并将标注后的所述文本作为待训练文本；

根据所述待训练文本训练预置文本模型，生成对应的文本审核模型。

7.如权利要求6所述的文本审核方法，其特征在于，所述生成对应的文本审核模型之前，包括：

确定所述预置文本模型是否处于收敛状态；

若确定所述预置文本模型处于收敛状态，则将所述预置文本模型作为文本审核模型；

若所述预置文本模型未处于收敛状态，则根据所述待训练文本继续训练所述预置文本模型，以使所述预置文本模型处于收敛状态。