[发明专利]语句处理方法、装置及存储介质在审
申请号: | 201910390190.5 | 申请日: | 2019-05-10 |
公开(公告)号: | CN111914083A | 公开(公告)日: | 2020-11-10 |
发明(设计)人: | 周磊 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/30;G06F40/211;G06K9/62 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 王花丽;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语句 处理 方法 装置 存储 介质 | ||
1.一种语句处理方法,其特征在于,所述方法包括:
将语句集合中各个语句映射为语义空间中的节点;
遍历所述语义空间中任意的两个节点并连接为边,将各边连接的两个节点对应的语句之间的语义距离标记为各对应边的权重,以形成节点关系图;
将所述节点关系图中各个边的权重转换为对应边的一端节点转移到另一端节点的概率;
基于所述节点关系图中各个边对应的概率,生成用于表示在所述节点关系图中随机转移的至少两个随机序列;
将各个所述随机序列中节点对应的语句,划分至所述随机序列所对应维度的语句子集合中。
2.根据权利要求1所述的方法,其特征在于,形成节点关系图之前,所述方法还包括:
对所述语句集合中各个语句进行分词,得到所述各个语句所包括的词;
分别对所述各个语句所包括的词对应的词向量进行组合,得到所述各个语句一一对应的句子向量;
遍历任意的两个句子向量,以将所述两个句子向量之间的距离确定为对应语句之间的语义距离。
3.根据权利要求1所述的方法,其特征在于,形成节点关系图之前,所述方法还包括:
从所述语句集合的各个语句中提取特征向量;
分别对所述各个语句的特征向量进行降维,得到所述各个语句一一对应的句子向量;
遍历任意的两个句子向量,以将所述两个句子向量之间的距离确定为对应语句之间的语义距离。
4.根据权利要求1所述的方法,其特征在于,将所述节点关系图中各个边的权重转换为对应边的一端节点转移到另一端节点的概率之前,所述方法还包括:
遍历所述语义空间中的节点,并将每次所遍历的节点作为参考节点,以并执行以下处理:
将所述节点关系图中连接所述参考节点的边的权重相加,得到权重和;
遍历所述节点关系图中连接所述参考节点的边,并将所遍历的边的权重与所述权重和之间的比值,确定为所遍历的边的更新后的权重;
基于连接所述参考节点的边的更新后的权重,确定所述参考节点的参考权重;
删除所述节点关系图中更新后的权重大于所述参考节点的参考权重的边。
5.根据权利要求4所述的方法,其特征在于,所述基于连接所述参考节点的边的更新后的权重,确定所述参考节点的参考权重,包括:
确定连接所述参考节点的边的更新后的权重的权重均值;
将设定的因子与所述参考节点的权重均值进行乘法运算,得到所述参考节点的参考权重。
6.根据权利要求4所述的方法,其特征在于,在删除所述节点关系图中更新后的权重大于所述参考节点的参考权重的边之后,所述方法还包括:
确定所述节点关系图中的分量,所述分量中任意两个节点能够通过边相互连通;
以所述分量为界限对所述节点关系图进行划分。
7.根据权利要求1所述的方法,其特征在于,所述将所述节点关系图中各个边的权重转换为对应边的一端节点转移到另一端节点的概率,包括:
遍历所述节点关系图中的边,以所述边的一端节点作为源节点,并以所述边的另一端节点作为目标节点,执行以下处理:
基于设定的函数,将所述边的权重转换为所述源节点与所述源节点的相邻节点之间的相似度;
基于所述源节点与所述相邻节点之间的相似度,对所述源节点与所述目标节点之间的相似度进行归一化,得到从所述源节点转移到所述目标节点的概率。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述基于所述节点关系图中各个边对应的概率,生成用于表示在所述节点关系中随机转移的随机序列,包括:
将所述节点关系图中各个边对应的概率按照矩阵的形式排列,得到所述节点关系图的概率矩阵;
遍历所述概率矩阵中的行以执行以下处理:
在所述行中查找大于设定的概率阈值的目标元素,以及
在所述节点关系图中查找所述目标元素对应的边所连接的节点,基于所查找到的节点构造所述行的随机序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910390190.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:开关组件和热水器
- 下一篇:一种闪存芯片的老化验证装置和系统