[发明专利]基于降维桶模型的文本翻译方法及装置有效
申请号: | 202010349528.5 | 申请日: | 2020-04-28 |
公开(公告)号: | CN111680519B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 骆加维;吴信朝;周宸;王虎;许康颂 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/44;G06F40/30;G06F40/216;G06F18/213;G06N3/0455;G06N3/047;G06N3/08 |
代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
地址: | 518000 广东省深圳市福田街*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 降维桶 模型 文本 翻译 方法 装置 | ||
1.一种基于降维桶模型的文本翻译方法,其特征在于,包括:
接收文本翻译请求,所述请求中携带有待翻译文本数据;
通过降维桶算法对所述待翻译文本数据进行处理,将输出的置信度最高的词语确定为文本翻译结果,所述降维桶算法为预先训练的降维桶模型,所述降维桶模型为通过降维桶注意力机制构建的Bert模型;
利用所述文本翻译结果响应所述文本翻译请求;
所述通过降维桶算法对所述待翻译文本数据进行处理,将输出的置信度最高的词语确定为文本翻译结果,包括:
利用预先训练的降维桶模型对所述待翻译文本数据进行处理,将输出的置信度最高的词语确定为文本翻译结果;
其中,利用预先训练的降维桶模型对所述待翻译文本数据进行处理,将输出的置信度最高的词语确定为文本翻译结果,包括:
根据获取的输入向量进行归一化处理得到注意力分数,并利用所述注意力分数划分降维桶结构,所述输入向量为基于待翻译文本数据中词语对应的词向量与位置向量进行拼接得到的;
利用预设不同数量级的注意力分数进行降维桶结构补充;
利用降维算法对所述降维桶结构进行降维处理;
对降维处理得到的注意力分数进行共享权重更新,得到共享的注意力分数,并经过归一化处理,输出置信度最高的词语作为文本翻译结果。
2.根据权利要求1所述的方法,其特征在于,所述通过降维桶算法对所述待翻译文本数据进行处理之前,所述方法还包括:
利用预设的词向量算法,将待翻译文本数据中的词语转换为词向量。
3.根据权利要求2所述的方法,其特征在于,所述利用预设的词向量算法,将待翻译文本数据中的词语转换为词向量之后,所述方法还包括:
根据预设的位置编码算法以及所述词向量,得到位置向量,并将所述词向量与位置向量拼接为输入向量。
4.一种基于降维桶模型的文本翻译装置,其特征在于,包括:
接收单元,用于接收文本翻译请求,所述请求中携带有待翻译文本数据;
处理单元,用于通过降维桶算法对所述待翻译文本数据进行处理,将输出的置信度最高的词语确定为文本翻译结果,所述降维桶算法为预先训练的降维桶模型,所述降维桶模型为通过降维桶注意力机制构建的Bert模型;
响应单元,用于利用所述文本翻译结果响应所述文本翻译请求;
所述处理单元具体用于利用预先训练的降维桶模型对所述待翻译文本数据进行处理,将输出的置信度最高的词语确定为文本翻译结果;
其中,所述处理单元,包括:
划分模块,用于根据获取的输入向量进行归一化处理得到注意力分数,并利用所述注意力分数划分降维桶结构,所述输入向量为基于待翻译文本数据中词语对应的词向量与位置向量进行拼接得到的;
补充模块,用于利用预设不同数量级的注意力分数进行降维桶结构补充;
降维模块,用于利用降维算法对所述降维桶结构进行降维处理;
更新模块,用于对降维处理得到的注意力分数进行共享权重更新,得到共享的注意力分数,并经过归一化处理,输出置信度最高的词语作为文本翻译结果。
5.一种存储介质,其上存储有计算机程序,所述存储介质中存储有至少一可执行指令,所述执行指令使处理器执行如权利要求1-3中任一项所述的基于降维桶模型的文本翻译方法对应的操作。
6.一种计算机设备,包括处理器、存储器、通信接口和通信总线所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信,所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-3中任一项所述的基于降维桶模型的文本翻译方法对应的操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010349528.5/1.html,转载请声明来源钻瓜专利网。