[发明专利]广告词违禁检测模型的训练方法、检测方法及装置

权利要求书

1.一种广告词违禁检测模型的训练方法，其特征在于，包括：

获取训练样本集，每个训练样本包括构成单个样本句子的样本词序列及对应每个样本词序列的标签序列；

将每个样本词序列中的词汇表示为独热编码，并获得每个样本词序列的编码矩阵；

基于神经网络模型的参数矩阵，将所述每个样本词序列的编码矩阵转换为每个样本词序列中词汇对应的三个转化向量；

基于所述每个样本词序列中词汇对应的三个转化向量，对所述每个样本词序列中的词汇进行自注意力机制处理，得到每个样本词序列中词汇的注意力向量；

基于每个样本词序列中词汇的位置信息，得到每个样本词序列中词汇的位置向量；

基于所述每个样本词序列中词汇的注意力向量及所述每个样本词序列中词汇的位置向量，得到每个样本词序列中词汇的目标向量；

基于所述每个样本词序列中词汇的目标向量及神经网络模型的参数向量，得到每个样本词序列中的词汇属于违禁词汇的几率；

基于每个样本词序列的标签序列、所述每个样本词序列中的词汇属于违禁词汇的几率及神经网络模型的损失函数，对神经网络模型的参数进行更新，得到广告词违禁检测模型。

2.根据权利要求1所述的广告词违禁检测模型的训练方法，其特征在于，所述基于神经网络模型的参数矩阵，将所述每个样本词序列的编码矩阵转换为每个样本词序列中词汇对应的三个转化向量，包括：

将所述每个样本词序列的编码矩阵分别与神经网络模型的三个参数矩阵相乘，得到每个样本词序列对应的三个转化矩阵，其中，每个样本词序列中的词汇对应三个转化向量。

3.根据权利要求1所述的广告词违禁检测模型的训练方法，其特征在于，所述基于所述每个样本词序列中词汇对应的三个转化向量，对所述每个样本词序列中的词汇进行自注意力机制处理，得到每个样本词序列中词汇的注意力向量，包括：

将单个样本词序列中单个词汇的第一转化向量分别与该样本词序列中所有词汇的第二转化向量相乘，并对相乘结果做softmax的运算，得到该词汇的转化几率；

将该词汇的转化几率与该样本词序列中所有词汇的第三转化向量对应相乘，并做求和运算，得到该词汇的注意力向量。

4.根据权利要求1所述的广告词违禁检测模型的训练方法，其特征在于，所述每个样本词序列中词汇的位置向量内部的数值通过以下公式计算得到：

P(pos，2i)＝sin(pos/10000^(2i/h))

P(pos，2i+1)＝cos(pos/10000^(2i/h))

其中，pos表示词汇在样本词序列中的位置，i表示在向量P中的维度下标，h表示向量P的长度；

当词汇的位置向量内部的数值在偶数维度时，应用正弦函数进行运算；当词汇的位置向量内部的数值在奇数维度时，应用余弦函数进行运算。

5.根据权利要求1所述的广告词违禁检测模型的训练方法，其特征在于，所述基于所述每个样本词序列中词汇的注意力向量及所述每个样本词序列中词汇的位置向量，得到每个样本词序列中词汇的目标向量，包括：

将所述每个样本词序列中词汇的注意力向量与所述每个样本词序列中词汇的位置向量对应相加，得到每个样本词序列中词汇的目标向量。

6.根据权利要求1所述的广告词违禁检测模型的训练方法，其特征在于，所述基于所述每个样本词序列中词汇的目标向量及神经网络模型的参数向量，得到每个样本词序列中的词汇属于违禁词汇的几率，包括：

基于所述每个样本词序列中词汇的目标向量，得到每个样本词序列的目标矩阵；

将所述每个样本词序列的目标矩阵与神经网络模型的参数向量相乘，并通过sigmoid函数处理，得到每个样本词序列中的词汇属于违禁词汇的几率。