[发明专利]面向神经网络机器翻译的日语动词识别、词性标注方法

说明书

本发明涉及机器翻译技术领域，尤其涉及一种面向神经网络机器翻译的日语动词识别、词性标注方法及系统。该方法包括以下步骤：S100、删除日语文本中的左邻接标志和结尾标志的特殊词汇；S200、查找选取得到候选动词；S300、切分得到待还原候选动词，对候选动词进行还原，若验证其正确，则该候选动词还原成功；S400、对还原成功的动词及其变形词尾进行切分，标注词性及其语法意义。本发明通过加入二次判断机制及完善复合动词的识别处理规则，提高了动词识别的准确度；同时对动词及其变形词尾进行词干、词尾、可能表现、时、态、情态的切分，有效提高了词法分析的准确性，从而有效提升了译文质量。

技术领域

本发明涉及机器翻译技术领域，尤其涉及一种面向神经网络机器翻译的日语动词识别、词性标注方法及系统。

背景技术

机器翻译，又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。随着国际经济合作的日益增多，翻译行业的翻译质量和效率都遇到了很大的挑战，而随着人工智能的高速发展，机器翻译在翻译行业的巨大潜力开始逐步显现。人工翻译压力大，成本高，耗时久，从社会发展趋势来看，研发、推广能够初步取代人工、降低翻译成本的机器翻译引擎十分必要。

随着中日之间科技和文化交流的日益频繁，突破语言间的理解和转换障碍成为关键要素之一，及时准确地将日文信息翻译转换成可读可理解的汉语信息，不仅具有理论上的价值，更具有现实上的必要性和紧迫性。原有的统计机器翻译系统中，在对平行语料进行机器训练之前需要进行分词预处理操作，其质量好坏将直接影响翻译质量。由于日语动词存在大量活用形及词典收录不全等因素，基于词典的日语动词切分一直很难达到理想的效果。如何对动词进行正确的切分和识别，提高词对齐的效果，进而提升整体机器翻译质量，是目前亟待解决的问题之一。同时，机器翻译技术在历经规则、统计等算法模型的发展之后，进入了融合神经网络和深度学习的算法的阶段。为了提升翻译效果，更适用于神经网络系统的分词、识别及词性标注技术十分必要。

关于日语的分词及词性标注技术，现在比较通行的是日本的工藤拓在2006年开发的MeCab形态素解析工具。该形态素解析工具以词典为基准，可将词典收录的日语动词(基本形词条)正确地识别出。然而，在解析词典未曾收录的日语动词活用形词条时，会将其切分成两个、甚至多个词，而后分别对其进行词性标注，由此会降低双语对其效果，不利于翻译模型概率的计算，影响翻译质量。

专利号为201310569693.1的专利公开了一种面向神经网络机器翻译的日语动词识别方法，该方法基于规则系统，结合词典，可将文本中的动词完整地识别出来，并通过形态还原操作得到其基本形。该方法具有较强的适用性和鲁棒性，有效地提高了机器翻译中词法分析的准确性和双语词对齐效果，整体上提高了机器翻译的译文质量。然而，该方法从设计上来说，更适用于统计算法，不管是从对词法分析的细致度，还是从对神经网络深度学习所要求的数据降维这两个方面来说，都不能完全满足神经网络深度学习的需要。

因此，急需一种面向神经网络机器翻译的日语动词识别、词性标注方法及系统。

发明内容

本发明提供了一种面向神经网络机器翻译的日语动词识别、词性标注方法及系统，以便于能够准确的将日语动词识别并将其词性标注出来，提高机器翻译质量。

本发明的一个方面，提供了一种面向神经网络机器翻译的日语动词识别、词性标注方法，包括以下步骤：

S100、检索并标注日语文本中包含候选动词查找时的左邻接标志和结尾标志的特殊词汇，不参与后续的动词识别，其中，左邻接标志为字符或字符串，结尾标志为字符；

S200、检索左邻接标志和候选动词结尾标志，查找选取得到候选动词；

S300、将左邻接标志的下一个字符至S200中得到的候选动词结尾标志字符部分切分出来作为待还原候选动词，对候选动词进行还原，并通过查词典的方式验证其是否正确，若正确，则该候选动词还原成功；