[发明专利]一种文本处理方法、装置、计算机设备及存储介质在审
申请号: | 202210790159.2 | 申请日: | 2022-07-06 |
公开(公告)号: | CN115062626A | 公开(公告)日: | 2022-09-16 |
发明(设计)人: | 程亚峰 | 申请(专利权)人: | 抖音视界(北京)有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/216;G06F40/284;G06K9/62 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 处理 方法 装置 计算机 设备 存储 介质 | ||
本公开提供了一种文本处理方法、装置、计算机设备及存储介质,其中,该方法包括:获取第一文本中的第一关键词对应的第一词向量矩阵、和第二文本中的第二关键词对应的第二词向量矩阵;将第一词向量矩阵和第二词向量矩阵进行融合处理,得到融合矩阵,并对融合矩阵进行奇异值分解,得到奇异值矩阵;基于奇异值矩阵确定第一文本和第二文本分别在多个向量维度下的相关度。本公开实施例可以在对融合矩阵进行奇异值分解,得到的奇异值矩阵中包含的各个奇异值可以体现各个矩阵维度下,第一文本对应的压缩后的词向量和第二文本对应的压缩后的词向量的相关度,进而能够通过多个矩阵维度下的相关度,更加准确、全面地表征第一文本和第二文本的整体相关性。
技术领域
本公开涉及自然语言处理技术领域,具体而言,涉及一种文本处理方法、装置、计算机设备及存储介质。
背景技术
自然语言处理是计算机科学领域中的一个重要方向。在某些自然语言处理的场景中,分别将不同文本中的关键词转变为词向量,然后分别将各个文本的词向量压缩成一个词向量,利用压缩后的词向量之间的相关关系,可以确定出不同文本的整体相关性。
上述处理过程中,通常通过压缩后的单一词向量确定不同文本的整体相关性,无法准确地体现各个文本的整体相关性。
发明内容
本公开实施例至少提供一种文本处理方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种文本处理方法,包括:
获取第一文本中的第一关键词对应的第一词向量矩阵、和第二文本中的第二关键词对应的第二词向量矩阵;其中,所述词向量矩阵包括:多个关键词分别对应的词向量;每个所述词向量包括:多个向量维度分别对应的向量元素;
将所述第一词向量矩阵和所述第二词向量矩阵进行融合处理,得到融合矩阵,并对所述融合矩阵进行奇异值分解,得到奇异值矩阵;
基于所述奇异值矩阵确定所述第一文本和所述第二文本分别在多个所述向量维度下的相关度。
一种可选的实施方式中,在对所述融合矩阵进行奇异值分解时,还得到第一目标分解矩阵、第二目标分解矩阵;所述第一目标分解矩阵用于表征所述第一文本的语义在多个所述向量维度下分别对应的权重;所述第二目标分解矩阵用于表征所述第二文本的语义在多个所述向量维度下分别对应的权重;
所述基于所述奇异值矩阵确定所述第一文本和所述第二文本分别在多个所述向量维度下的相关度,包括:
基于所述第一词向量矩阵和所述第一目标分解矩阵,确定所述第一文本分别在多个所述向量维度下的第一语义关键词,以及,基于所述第一词向量矩阵和所述第二目标分解矩阵,确定所述第二文本分别在多个所述向量维度下的第二语义关键词;
基于所述奇异值矩阵,确定所述第一语义关键词和所述第二语义关键词分别在多个向量维度下的相关度。
一种可选的实施方式中,所述基于所述第一词向量矩阵和所述第一目标分解矩阵,确定所述第一文本分别在多个所述向量维度下的第一语义关键词,包括:
基于所述第一词向量矩阵和所述第一目标分解矩阵,确定所述第一词向量矩阵对应的词向量压缩矩阵;
基于所述词向量压缩矩阵中的各个词向量以及多个候选词汇分别对应的词向量,确定各个所述词向量对应的第一语义关键词。
一种可选的实施方式中,所述基于所述第一词向量矩阵和所述第一目标分解矩阵,确定所述第一词向量矩阵对应的词向量压缩矩阵,包括:
按照预设数量个奇异值对所述第一目标分解矩阵进行压缩,得到所述第一目标分解矩阵对应的压缩分解矩阵;其中,所述奇异值为所述奇异值矩阵中与目标向量维度对应的矩阵元素的值;
基于所述压缩分解矩阵和所述第一词向量矩阵,确定所述第一词向量矩阵对应的词向量压缩矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界(北京)有限公司,未经抖音视界(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210790159.2/2.html,转载请声明来源钻瓜专利网。