[发明专利]一种垃圾文本的识别方法及装置

说明书

本发明实施例提供了一种垃圾文本的识别方法，涉及信息处理技术领域，用以在节省人工操作的基础上精准地识别垃圾文本，本发明的实施例包括：将待训练文本转化为词向量矩阵，然后通过深度学习模型处理每个待训练文本对应的词向量矩阵，根据对每个待训练文本对应的词向量的处理结果，将深度学习模型训练为垃圾文本识别模型，深度学习模型包括卷积神经网络和双向循环神经网络，进而当接收到待识别文本时，通过垃圾文本识别模型识别待识别文本是否为垃圾文本。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种垃圾文本的识别方法及装置。

背景技术

随着用户使用视频网站的频率越来越高，使用时长也越来长，用户在视频网站上生成的用户原创内容(User Generated Content，UGC)文本内容量也以爆炸式的速度增长。例如，视频网站中出现的弹幕、评论、直播聊天室等都是以文字为主体的产品，用户使用视频网站中的这些功能的过程中，可以产生海量的文本。

然而在海量的UGC文本中，往往还存在大量的垃圾文本，例如广告、辱骂文字、负面舆论信息、色情内容等，在传统方法中，可以通过大量的人工操作来添加关键词，通过关键词来过滤垃圾文本，然而黑产为了避开关键词经常对文本进行变更字形、变更字音等操作，导致无法精准地识别出垃圾文本。

发明内容

本发明实施例的目的在于提供一种垃圾文本的识别方法及装置，用以在节省人工操作的基础上精准地识别垃圾文本。

具体技术方案如下：

第一方面，本发明实施例提供一种垃圾文本的识别方法，包括：

将待训练文本转化为词向量矩阵；

通过深度学习模型处理每个待训练文本对应的词向量矩阵，根据对每个待训练文本对应的词向量的处理结果，将所述深度学习模型训练为垃圾文本识别模型，所述深度学习模型包括卷积神经网络和双向循环神经网络；

当接收到待识别文本时，通过所述垃圾文本识别模型识别所述待识别文本是否为垃圾文本。

在一种可能的实现方式中，所述将待训练文本转化为词向量矩阵，包括：

对所述待训练文本进行分词；

从所述待训练文本中截取预设数量的词，若所述待训练文本中的词的数量小于所述预设数量，则将所述待训练文本中的词补齐至所述预设数量；

确定所述预设数量的词对应的词向量；

将所述词向量构建为所述待训练文本的词向量矩阵。

在一种可能的实现方式中，所述通过深度学习模型处理每个待训练文本对应的词向量矩阵，包括：

通过所述卷积神经网络对所述词向量矩阵进行卷积，得到所述待训练文本的特征矩阵；

通过双向循环神经网络处理所述待训练文本的特征矩阵，得到所述待训练文本的特征向量；

通过激活函数处理所述待训练文本的特征向量，确定所述待训练文本属于各文本类型的概率，所述文本类型至少包括垃圾文本和正常文本。

在一种可能的实现方式中，所述通过双向循环神经网络处理所述待训练文本的特征矩阵，得到所述待训练文本的特征向量，包括：

将所述待训练文本的特征矩阵输入双向循环神经网络；

通过正向LSTM正向读取并处理输入的矩阵，得到所述待训练文本的第一特征向量；

通过反向LSTM反向读取并处理输入的矩阵，得到所述待训练文本的第二特征向量；

将所述第一特征向量和所述第二特征向量进行拼接，得到所述待训练文本的特征向量。