[发明专利]一种英文粘连词错误的还原方法

说明书

本发明公开一种英文粘连词错误的还原方法，步骤为：在现有的已清洗过的高质量英文数据集中随机抽取数据；对采集到的问题数据进行抽样统计，得到粘连词数及粘连位置的分布概率；数据构造，根据粘连词的分布情况构造伪粘连词数据，根据对待清洗数据的抽样统计出含有粘连词的句子占比，结合粘连词数及粘连位置的分布构造伪粘连数据；在将构造的伪粘连词数据送入模型训练之前，对其做预处理操作；数据训练，对模型参数进行调整，选取最优模型，利用最优模型对获取到的待清洗的英文数据中的粘连词进行修正，得到还原后的正确数据。本发明能够精确地识别英文粘连词，并将其还原成独立词汇，整个过程由训练的模型完成，高效且便捷，且具备可迁移性。

技术领域

本发明涉及一种英文数据清洗技术，具体为一种英文数据中粘连词错误的还原方法。

背景技术

在以海量数据为驱动的自然语言处理任务中，数据清洗是保证数据质量的首要工作。数据获取的渠道繁多，在使用网络爬虫、OCR(Optical Character Recognition，光学字符识别)识别等计算机自动采集技术获取英文数据单语或包含英文的双语数据的过程中，会因为以下几种错误导致英文数据中单词之间空格丢失，造成多词粘连的情况，以下统称为粘连词。

造成粘连词问题的几种常见错误：

1)转换错误：在转换过程中，单词之间的一些空格可能会丢失，例如，通过删除换行符而不是将其替换为空格；

2)OCR错误：原始文档或手写文本的质量较差可能会导致无法正确识别单词之间的所有空格；

3)传输错误：在嘈杂的信道上传输时，空格可能会丢失或引入拼写错误；

4)获取错误：从URL地址、域名、表列描述或编程变量中提取的关键字，这些变量不带空格。

粘连词错误数据如下所示：

错误句子：There is the prospectof employment once the training iscompleted.

正确形式：There is the prospect of employment once the training iscompleted.

目前大多自然语言处理任务(机器翻译、命名实体识别、语义分析等)均依赖语料库，在任务训练过程中，使用训练语料的数量越多，在训练过程中能够学到的信息就越丰富，效果就会更好；同时，训练语料中数据的质量好坏也尤为重要，数据质量越好，效果就越好，数据数量和质量是相辅相成的关系，在自然语言处理任务中缺一不可。

英文粘连词问题严重影响了英文数据的质量，因此，在清洗数据的过程中考虑对英文粘连词进行还原是非常重要的，并进一步影响语料库的质量，而目前能够提高语料库质量的英文粘连词错误的还原方法尚未见报道。

发明内容

针对在获取大量数据时，使用网络爬虫、OCR识别等计算机自动采集技术造成的英文数据中有粘连词的数据错误，本发明要解决的问题是提供一种可避免英文数据出现粘连词的数据错误、提高英文数据质量的英文数据粘连词的还原方法。

为解决上述粘连词问题，本发明采用的技术方案是：

本发明提供一种英文数据中粘连词的还原方法，包括以下步骤：

1)在现有的已清洗过的高质量英文数据集中随机抽取数据，为任务训练所需的高质量数据做准备；

2)观察获取到的待清洗的英文数据集中含有粘连词的数据，对采集到的问题数据进行抽样统计，得到粘连词数及粘连位置的分布概率；

3)利用步骤1)中抽取的数据进行数据构造，根据粘连词的分布情况构造伪粘连词数据，根据对待清洗数据的抽样统计出含有粘连词的句子占比，结合粘连词数及粘连位置的分布构造伪粘连数据；