[发明专利]文本质量的识别方法、装置、设备及存储介质在审
申请号: | 202011003717.3 | 申请日: | 2020-09-22 |
公开(公告)号: | CN112131345A | 公开(公告)日: | 2020-12-25 |
发明(设计)人: | 朱灵子;衡阵;马连洋 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06N3/08;G06N3/04 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 徐立 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 质量 识别 方法 装置 设备 存储 介质 | ||
1.一种文本质量的识别方法,其特征在于,所述方法包括:
获取文本的文本向量,所述文本的文本向量至少包括标题文本向量和正文文本向量中的一种,所述标题文本向量是所述文本的标题对应的向量,所述正文文本向量是所述文本的正文对应的向量;
获取所述文本中的关键词对应的图向量,所述图向量是所述关键词经过图嵌入处理后得到的;
对所述文本的文本向量和所述图向量进行分类,得到所述文本对应的质量等级预测概率;
根据所述质量等级预测概率对所述文本质量的质量等级进行划分。
2.根据权利要求1所述的方法,其特征在于,所述获取所述文本中的关键词对应的图向量,包括:
从所述文本中提取所述关键词;
将所述关键词确定为图节点;
根据所述图节点构建共现关系结构图,所述共现关系结构图用于表征所述文本中的关键词之间的共现关系;
调用深度游走模型对所述共现关系结构图进行所述图嵌入处理,输出所述关键词对应的图向量。
3.根据权利要求2所述的方法,其特征在于,所述调用深度游走模型对所述共现关系结构图进行所述图嵌入处理,输出所述关键词对应的图向量,包括:
将所述共现关系结构图中的第i个图节点确定为根节点,所述第i个图节点与所述文本中的第i个关键词对应,i为正整数;
获取以所述根节点为原点对应的n条关系路径,所述关系路径与所述共现关系结构图中的关系边一一对应,n为正整数;
从所述n条关系路径中选取目标关系路径进行随机游走处理,得到所述目标关系路径对应的一组词语序列;
重复执行上述三个步骤,直到所述共现关系结构图中的所述图节点均被遍历,将所述关系路径对应的词语序列进行所述图嵌入处理,输出所述关键词对应的图向量。
4.根据权利要求3所述的方法,其特征在于,所述从所述n条关系路径中选取目标关系路径进行随机游走处理,得到所述目标关系路径对应的一组词语序列,包括:
获取在所述随机游走过程中的所述目标关系路径和窗口尺寸,所述窗口尺寸与被截取的图节点的数量对应;
沿所述目标关系路径,根据所述窗口尺寸截取与所述第i个图节点连接的前m个图节点和后m个图节点,得到所述目标关系路径对应的一组词语序列,m为正整数。
5.根据权利要求2所述的方法,其特征在于,所述根据所述图节点构建共现关系结构图,包括:
根据所述关键词在所述文本中的共现关系生成所述共现关系结构图中的关系边;
根据所述图节点和所述关系边构建所述共现关系结构图。
6.根据权利要求1至5任一所述的方法,其特征在于,所述对所述文本的文本向量和所述图向量进行分类,得到所述文本对应的质量等级预测概率,包括:
调用文本质量识别模型中的全连接层对所述文本的文本向量和所述图向量进行拼接处理,输出拼接后的第一向量;
调用所述文本质量识别模型中的丢弃层对所述第一向量进行处理,输出第二向量,所述丢弃层是用于从所述第一向量中滤除无用的特征向量的神经网络层;
调用所述文本质量识别模型中的逻辑回归层对所述第二向量进行处理,输出所述文本对应的质量等级预测概率。
7.根据权利要求2所述的方法,其特征在于,所述深度游走模型是通过如下方式训练得到的:
获取样本文本,所述样本文本对应有真实样本图向量;
从所述样本文本中提取样本关键词,所述样本关键词与样本共现关系结构图中的样本图节点一一对应;
根据所述样本图节点构建所述样本共现关系结构图,所述样本共现关系结构图用于表征在所述样本文本中的样本关键词之间的共现关系;
将所述样本共现关系结构图输入至所述深度游走模型中,输出所述样本关键词对应的预测样本图向量;
根据所述预测样本图向量和所述真实样本图向量对所述深度游走模型进行训练,得到训练后的深度游走模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011003717.3/1.html,转载请声明来源钻瓜专利网。