[发明专利]汉泰双语平行语料自动采集的系统及实现方法

说明书

技术领域

本发明涉及计算机应用技术领域，尤其是涉及一种汉泰双语平行语料自动采集的系统及实现方法。

背景技术

“平行语料”（ParallelTexts）是指使用不同语言撰写、相互间具有“翻译关系”的文本。在计算语言学界，它有别于“对比语料”（ComparableTexts），后者也使用不同的语言撰写、并且针对同一主题，但相互之间却不存在直接的“翻译关系”。

人类历史上曾有过各式各样的平行语料。埃及出土的罗塞塔石碑，其碑文用两种语言、三种文字刻成，是颇具盛名的古代的平行语料。通过比较石碑上的文字，法国古代语学者商博良解读了古埃及的象形文字。此外，用不同语言对照书写的契约协议、宗教经典、文学作品也在不同的时期和不同的领域影响着人们的生活。20世纪50年代末，平行语料开始出现在机器翻译研究中。由于当时计算机的存储空间和计算能力有限，而大量文本数据的输入又相当困难，平行语料库的作用并没有得到太多的关注。70年代末期，翻译资源的收集工作在XeroxPARC、BrighamYoung等研究中心广泛地开展起来。1987年，MartinKay和MartinRoscheisen提出了最早的平行语料自动对齐算法。之后各种对齐方法层出不穷，对齐后的平行语料也被系统地应用到自然语言处理中，包括建立翻译记忆、编纂词典和双语术语表、跨语言信息检索、计算机辅助教学、语言对比研究等。

语料库的建设是统计学习方法的重要基础，近年来，语料库资源对于自然语言处理研究的巨大价值已经得到越来越多的认可。特别是双语语料库（BilingualCorpus），已经成为机器翻译、机器辅助翻译以及翻译知识获取研究不可或缺的重要资源。一方面，双语语料库的出现直接推动了机器翻译新技术的发展，像平行语料库为统计机器翻译的模型构建提供了必不可少的训练数据（e.g.,Brownetal.1990;Melamed2000;OchandNey2002），基于统计（Statistic-Based）和基于实例（Example-Based）等基于语料库的翻译方法为机器翻译研究提供了新的思路，有效改善了翻译质量，在机器翻译研究领域掀起了新的高潮。另一方面，双语语料库又是获取翻译知识的重要来源，从中可以挖掘学习各种细粒度的翻译知识，如翻译词典（e.g.,GaleandChurch1991;Melamed1997）和翻译模板，从而改进传统的机器翻译技术。此外，双语语料库也是跨语言信息检索（e.g.,DavisandDunning1995;Jian-YunNie,TREC8;），翻译词典编撰、双语术语自动提取以及多语言对比研究等的重要基础资源。双语平行语料库建设与获取存在着很大的困难，各国都投入了大量的人力、物力和财力，但是双语平行语料库的来源主要集中在政府报告、新闻法律等特定领域，不适合真实文本应用。同时，互联网上的大规模双语文本并且具有很好的时效性和覆盖性，这为双语平行语料库的获取提供了潜在的解决途径。

加拿大蒙特利尔大学的研究者聂建云开发的系统PTMiner（ParallelTextMiner，1999）：通过搜索引擎查找含有特定锚文本的网站构成双语候选网站，再依赖预先定义的语言的前后缀表，抽取出具有URL命名相似性的候选网页即如果某一URL含有一种语言的前后缀，则将这些前后缀替换为另一种语言的，构建出一个URL，如果这样构建出来的URL存在。则找到了一对候选网页对，最后再根据文本长度，网页的HTML标记结构，网页的语言等特征过滤掉候选网页中不平行的网页对。PTMiner系统在中英平行网页文本挑出几百对的中英平行网页对，经过人工的评价，有将近90%的准确率。获取到的英文文本有137M，中文文本有117M。