[发明专利]一种基于医学神经机器翻译的解决产生未翻译单词的方法有效
申请号: | 201910630654.5 | 申请日: | 2019-07-12 |
公开(公告)号: | CN110334362B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 管仁初;温晓静;王连臣;陈碧乾;周丰丰 | 申请(专利权)人: | 北京百奥知信息科技有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/49;G06F40/47;G06F16/33;G06F16/951 |
代理公司: | 成都瑞创华盛知识产权代理事务所(特殊普通合伙) 51270 | 代理人: | 邓瑞;辜强 |
地址: | 100089 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 医学 神经 机器翻译 解决 产生 翻译 单词 方法 | ||
1.一种基于医学神经机器翻译的解决产生未翻译单词的方法,其特征在于,包括的方法有:
1).接收英文医学摘要:计算机接收译者输入的医学英文摘要;
2).文本预处理:对输入的英文医学摘要采用nltk包进行英文分句,通过nltk中的句子分割器来将英文段落分割成句子组;
3).调用医学翻译模型:翻译程序调用训练好的医学翻译模型,将输入英文语句进行翻译;
4).判断是否含有未识别单词:得到初步翻译结果后,判断翻译结果中是否含有未识别单词,如果含有,则进行未识别单词处理,否则直接返回翻译结果;
未识别单词处理的方法包括:
41).计算未识别单词位置:通过ATTENTION机制,计算未识别单词在源语言句子中的位置,返回给程序源单词;
42).处理未识别单词:根据ATTENTION机制得到未识别单词的源语言单词位置,根据返回方法,返回结果来帮助翻译提高准确率;
43).整合翻译结果:将未识别单词通过规则查找到的结果替换模型本身翻译的结果中未识别单词的位置作为最终的翻译结果;
44).返回翻译结果:将最终的翻译结果返回给用户;
方法3)中医学翻译模型的训练过程为:
31).收集训练语料:运行爬虫程序将中华医学期刊网中的所有中英文论文摘要爬取到本地,然后使用nltk包进行中英摘要分句,判断摘要是否是中英文一一对应,如果中英文句子能够对应就作为训练翻译模型的语料;
32).训练翻译模型:借助训练程序在收集到的医学语料的基础上进行翻译模型的训练。
2.根据权利要求1所述的基于医学神经机器翻译的解决产生未翻译单词的方法,其特征在于,
所述爬虫程序运行过程为:
3101).先使用python编程语言中的requests包将中华医学期刊网中包含论文id的网页获取到本地;
3102).使用python编程语言中的BS4包将获取到的网页信息处理成python可处理格式,获取到每篇论文的id,将id存储到表格中以备后用;
3103).从表格中获取id,将id与网站ip结合到一起,使用requests包爬取包含每篇论文摘要的网页;
3104).使用BS4包处理含有论文摘要的网页,将中英文摘要分别存储到本地txt中以备后用;
所述翻译模型的训练过程为:
3201).将语料分为训练集、测试集、验证集;
3202).预先定义训练参数,包括学习率为0.1、梯度裁剪为0.1、随机失活为0.2、句子最大词数量为100,然后使用训练集进行训练;
3203).一个阶段的训练结束后训练程序自动调用验证集来进行优化训练参数,使其更符合医学翻译模型的训练;
3204).按照先验经验,步骤3202)、3203)迭代20次训练参数达到最优、得到的训练模型为最优训练模型;
3205).训练程序自动调用测试集进行验证医学翻译模型的泛化能力;
3206).训练结束,得到最终的医学翻译模型。
3.根据权利要求1所述的基于医学神经机器翻译的解决产生未翻译单词的方法,其特征在于,方法42)中的返回方法包括方法一:如果单词为大写字母单词,则直接返回原单词。
4.根据权利要求3所述的基于医学神经机器翻译的解决产生未翻译单词的方法,其特征在于,方法42)中的返回方法包括方法二:如果不满足方法一,则先进行meddra疾病词典的查询,后续还有加入更多医学专业词典,如果查找得到中文含义,则返回含义替换未识别的单词,meddra词典是自行整理的医学词汇词典,每个英文词汇只有一个中文含义,因为是医学专业词典,所以不需要进行语义消歧。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百奥知信息科技有限公司,未经北京百奥知信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910630654.5/1.html,转载请声明来源钻瓜专利网。