[发明专利]一种基于医学神经机器翻译的解决产生未翻译单词的方法

说明书

本发明公开了一种基于医学神经机器翻译的解决产生未翻译单词的方法，该方法的目的是将医学英文摘要翻译为中文摘要，便于研究学者阅读，包括以下步骤：输入医学英文摘要、文本预处理、调用医学翻译模型、判断是否含有unk；如果翻译结果中出现未翻译单词则通过ATTENTION机制计算unk在源语言位置然后使用该词进行医学专业词典查询，替换翻译结果中的unk并返回给用户。

技术领域

本发明属于医学翻译技术领域，特别是涉及一种基于医学神经机器翻译的解决产生未翻译单词的方法。

背景技术

通用机器翻译在大多数情况下不适应于医学领域，因为医学领域有很多医学专业词汇，像药物的名称，某些病毒、细菌的名称或者疾病的名称，可能是通用词而非通用含义，所以在进行翻译时，如果采用通用翻译可能会产生歧义。医学机器翻译不同于通用机器翻译，医学机器翻译有很强的专业性，所以需要使用医学语料来进行训练，这样使得翻译的结果更加专业化，使翻译医学相关的词汇的准确率更高。

医学摘要在进行翻译时要将摘要进行分句处理，模型每次调用一句话进行翻译，在翻译结果中的unk处理结束后，处理下一句，以此类推，直至摘要中所有的英文语句都翻译结束，将翻译结果整合成为整段英文的翻译结果并返回给用户。

医学词汇量比较大，进行机器翻译模型训练的语料中所包含的单词数有限，有时会产生未识别的单词，模型会默认返回unk(unknown)，但是在翻译时译者不能理解unk是何含义，可能会误导译者从而产生歧义，因此，医学机器翻译还需要解决unk问题。

发明内容

本发明要解决的技术问题是避免翻译结果中出现unk(未识别单词)，本发明通过解决unk问题，能够帮助用户更好的理解翻译结果，使得医学词汇的中文含义更加明确。

本发明的内容为：翻译英文医学摘要并处理医学翻译得到的结果中包含unk的问题，包括解决单词含义歧义问题，其实施过程由输入英文语句，调用模型进行翻译，判断是否含有unk，处理unk，整合翻译结果，返回翻译结果。具体包括如下：

1).接收英文医学摘要：计算机接收译者输入的医学英文摘要；

2).文本预处理：对输入的英文医学摘要采用nltk包进行英文分句，通过nltk中的句子分割器来将英文段落分割成句子组；

3).调用医学翻译模型：翻译程序调用训练好的医学翻译模型，将输入英文语句进行翻译；

4).判断是否含有未识别单词：得到初步翻译结果后，判断翻译结果中是否含有未识别单词，如果含有，则进行未识别单词处理，否则直接返回翻译结果；

未识别单词处理的方法包括：

41).计算未识别单词位置：通过ATTENTION机制，计算未识别单词在源语言句子中的位置，返回给程序源单词；

42).处理未识别单词：根据ATTENTION机制得到未识别单词的源语言单词位置，根据返回方法，返回结果来帮助翻译提高准确率；

43).整合翻译结果：将未识别单词通过规则查找到的结果替换模型本身翻译的结果中未识别单词的位置作为最终的翻译结果；

44).返回翻译结果：将最终的翻译结果返回给用户。

进一步，方法3)中医学翻译模型的训练过程为：

31).收集训练语料：运行爬虫程序将中华医学期刊网中的所有中英文论文摘要爬取到本地，然后使用nltk包进行中英摘要分句，判断摘要是否是中英文一一对应，如果中英文句子能够对应就作为训练翻译模型的语料；

其中，爬虫程序运行过程为：

3101).先使用python编程语言中的requests包将中华医学期刊网中包含论文id的网页获取到本地；