[发明专利]一种文本打分方法及装置

说明书

本申请实施例提供了一种文本打分方法及装置。方法包括：对待打分文本进行分词处理，得到待打分文本的分词；确定分词的词义向量和词性向量，得到由词义向量和词性向量组成的词向量；将词向量输入至于预先经过训练的序列编码器，得到序列编码器的输出，作为待打分文本的序列编码向量；将词向量输入至预先经过训练的树型编码器，得到树型编码器的输出，作为待打分文本的树型编码向量；融合待打分文本的序列编码向量和树型编码向量，得到待打分文本的融合编码向量；基于融合编码向量，确定待打分文本为指定类型的文本的可信程度，作为待打分文本的得分。可以提高得分的准确率。

技术领域

本申请涉及深度学习技术领域，特别是涉及一种文本打分方法及装置。

背景技术

随着互联网发展，人们的生活、工作等均与互联网密切相关，因此，人们会在互联网上产生大量数据，比如文本、语音、图像、视频等，而为了维护网络环境，达到净化网络的目的，对互联网上的数据进行合规审核变得十分重要。

目前，针对文本数据的审查主要是利用传统算法和机器学习算法，机器学习算法基于深度学习网络，随着深度学习的广泛应用，在文本审查中机器学习算法成为一种重要的方式。具体地，在对文本审查过程中，将待审查的文本进行分词处理，转换为词向量表示，然后根据转换后的词向量进行打分，根据打分来判断是否涉及敏感内容，是否符合审查规定。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：目前对文本仅进行了词向量的替换，打分也仅基于词向量。但是，对于一句话来说，除了由单个的词组成以外，还包括了其他的很多信息。即使相同的词组成的一句话，但是其他的信息不同也会导致这句话所表达的意思不同，这样也会影响最后的打分结果。因此，如何根据更全面的文本信息进行打分进而得到更精确的打分结果是亟待解决的问题。

发明内容

本申请实施例的目的在于提供一种文本打分方法及装置，以实现根据更全面的文本信息进行打分，提高打分的精确度。具体技术方案如下：

在本发明实施例的第一方面，提供了一种文本打分方法，所述方法包括：

对待打分文本进行分词处理，得到待打分文本的分词；

确定所述分词的词义向量和词性向量，得到由所述词义向量和所述词性向量组成的词向量，所述词义向量用于表示所述分词的词义，所述词性向量用于表示所述分词的词性；

将所述词向量输入至于预先经过训练的序列编码器，得到所述序列编码器的输出，作为所述待打分文本的序列编码向量，所述序列编码向量用于表示文本中分词之间的上下文关系；

将所述词向量输入至预先经过训练的树型编码器，得到所述树型编码器的输出，作为所述待打分文本的树型编码向量，所述树型编码向量用于表示文本的语法结构；

融合所述待打分文本的所述序列编码向量和所述树型编码向量，得到所述待打分文本的融合编码向量；

基于所述融合编码向量，确定所述待打分文本为指定类型的文本的可信程度，作为所述待打分文本的得分。

在一种可能的实施例中，所述融合所述待打分文本的所述序列编码向量和所述树型编码向量，得到所述待打分文本的融合编码向量，包括：

融合所述待打分文本的所述序列编码向量和所述树型编码向量以及预设任务向量，得到所述待打分文本的融合编码向量，所述任务向量为用于表示多种预设文本类型中的一种文本类型的独热(one-hot)编码；

所述基于所述融合编码向量，确定所述待打分文本为指定类型的文本的可信程度，作为所述待打分文本的得分，包括：

基于所述融合编码向量，确定所述待打分文本为所述任务向量所表示的文本类型的文本的可信程度，作为所述待打分文本的得分。