[发明专利]一种基于深度学习的多语言有害信息特征智能挖掘方法

权利要求书

1.一种基于深度学习的多语言有害信息特征智能挖掘方法，包括如下步骤：

1)收集各语种有害信息文本和无害信息文本，建立数据标注集S，标注各语种各类别的有害信息文本数据的正负样本数据，其中正样本是该类别该语种的有害信息文本，样本数量为N_正样本，负样本是该类别该语种的无害信息文本，样本数量为N_负样本。

2)将步骤1)的数据标注集S中各语种有害信息文本和无害信息文本词例化，然后去掉停用词和标点符号。

3)将步骤2)的每个语种的每个类别的词使用RNSW(Remove Negative Sample Words)方法选出n个候选词，建立该类别的词-ID的词对集合{W₁，ID₁，W₂，ID₂，......，W_n，ID_n}，其中n为该类别的词对集合中词对的数量，W_x代表各语种的单词或分词后的词，ID_x代表该词的ID，用集合中的唯一的一个整数值的独热码(One-Hot Encoding)编码来表示。

4)将步骤3)每个语种的每个类别的每个样品数据，根据该语种该类别的词对集合{W₁，ID₁，W₂，ID₂，......，W_n，ID_n}，转化为相应的ID的数据向量X：{Vec₁，Vec₂，......Vec_m}。

5)将步骤4)的每个语种的每个类别中的最大的样本的词的数量M_max做为该类别的词的数量，将数据向量X：{Vec₁，Vec₂，......Vec_m}中词向量维数不到M_max的在前端填充0。根据每个样本是正样本还是负样本，设置相应数据的类别向量：y：{y1，y₂，......，y_m}，对于该类别的正样本y_x为[1，0]，负样本则y_x为[0，1]。

6)将步骤5)的每个语种的每个类别的数据向量X和y按照某个比例分成训练集train_x，train_y和测试集dev_x，dev_y。

7)按照批大小为某个批大小，分批将步骤6)的train_x，train_y输入到如附图4所示的CNN神经网络模型中训练学习，使用Adam优化器和交叉熵损失函数进行训练，最后用softmax归一化分类，得到最终的分类结果。

8)将词对集合{W₁，ID₁，W₂，ID₂，......，W_n，ID_n}的每个词W_x输入到步骤7)训练优化的最终模型中，得到每个词W_x属于该语种该有害类别的得分M_x，将M_x作为该词的权重，按照权重从大到小排序，得到p个词集合{W₁，W₂，......，W_p}，则该词集合为机器学习选出的该语种该类别的有害信息特征。

9)使用遗传算法对步骤8)机器学习选出的有害信息特征{W₁，W₂，......W_p}进行特征选择，选择出最优数量的有害信息特征词，形成最终的有害信息特征{W₁，W₂，......W_q}和权重{M₁，M₂，......，M_q}。

10)使用步骤9)的有害信息特征{W₁，W₂，......，W_q}和相应的权重{M₁，M₂，......，M_q}，判断文本是否为有害信息。