[发明专利]文本数据处理方法、装置、存储介质及计算机设备有效
申请号: | 202110226928.1 | 申请日: | 2021-03-01 |
公开(公告)号: | CN112988965B | 公开(公告)日: | 2022-03-08 |
发明(设计)人: | 张哲旸;季成晖;卢俊之 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/194;G06F40/279;G06K9/62 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 刘自丽 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 数据处理 方法 装置 存储 介质 计算机 设备 | ||
1.一种文本数据处理方法,其特征在于,所述方法包括:
获取第一文本数据的第一语种信息以及第二文本数据的第二语种信息;
将所述第一文本数据按所述第一语种信息的词单元进行分词,得到第一分词信息;
将所述第二文本数据按所述第二语种信息的词单元进行分词,得到第二分词信息;
从互联网中获取所述第一分词信息中每一分词信息的多个读音数据对应的多个第一使用频率,根据所述第一使用频率确定所述第一分词信息中每个分词的第一目标读音,得到第一读音数据;
从互联网中获取所述第二分词信息中每一分词信息的多个读音数据对应的多个第二使用频率,根据所述第二使用频率确定所述第二分词信息中每个分词的第二目标读音,得到第二读音数据;
对所述第一读音数据进行音素分析,得到第一音素序列;
对所述第二读音数据进行音素分析,得到第二音素序列;
计算所述第一音素序列与所述第二音素序列的第一音素相似度;
根据所述第一音素相似度确定所述第一文本数据与所述第二文本数据的相似度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一文本数据翻译成所述第二语种信息对应的第三文本数据;
确定所述第三文本数据的第三读音数据;
对所述第三读音数据进行音素分析,得到第三音素序列;
计算所述第三音素序列与所述第二音素序列的第二音素相似度;
所述根据所述第一音素相似度确定所述第一文本数据与所述第二文本数据的相似度,包括:
根据所述第一音素相似度与所述第二音素相似度确定所述第一文本数据与所述第二文本数据的相似度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一音素相似度与所述第二音素相似度确定所述第一文本数据与所述第二文本数据的相似度,包括:
确定所述第一音素相似度对应的第一权重系数以及确定所述第二音素相似度对应的第二权重系数;
根据所述第一权重系数、所述第二权重系数分别对所述第一音素相似度与所述第二音素相似度进行加权计算,得到所述第一文本数据与所述第二文本数据的相似度。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述计算所述第一音素序列与所述第二音素序列的第一音素相似度,包括:
获取所述第一音素序列对应的第一向量以及所述第二音素序列对应的第二向量;
计算所述第一向量与所述第二向量的余弦相似度,确定所述余弦相似度为所述第一音素序列与所述第二音素序列的第一音素相似度。
5.一种文本数据处理装置,其特征在于,所述装置包括:
获取单元,用于获取第一文本数据的第一语种信息以及第二文本数据的第二语种信息;
第一确定单元,用于将所述第一文本数据按所述第一语种信息的词单元进行分词,得到第一分词信息;将所述第二文本数据按所述第二语种信息的词单元进行分词,得到第二分词信息;从互联网中获取所述第一分词信息中每一分词信息的多个读音数据对应的多个第一使用频率,根据所述第一使用频率确定所述第一分词信息中每个分词的第一目标读音,得到第一读音数据;从互联网中获取所述第二分词信息中每一分词信息的多个读音数据对应的多个第二使用频率,根据所述第二使用频率确定所述第二分词信息中每个分词的第二目标读音,得到第二读音数据;
第一分析单元,用于对所述第一读音数据进行音素分析,得到第一音素序列;
第二分析单元,用于对所述第二读音数据进行音素分析,得到第二音素序列;
计算单元,用于计算所述第一音素序列与所述第二音素序列的第一音素相似度;
第二确定单元,用于根据所述第一音素相似度确定所述第一文本数据与所述第二文本数据的相似度。
6.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至4中任一项所述的文本数据处理方法中的步骤。
7.一种计算机设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的文本数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110226928.1/1.html,转载请声明来源钻瓜专利网。