[发明专利]一种文本数据集清洗方法、装置及介质

说明书

本发明公开了一种文本数据集清洗方法、装置及介质，属于计算机数据技术领域，方法包括：接收待清洗的文本数据集；对第一格式文本数据集和第二格式文本数据集进行中文过滤操作，以分别形成第一格式第一文本数据集和第二格式第一文本数据集；将所述第二格式第一文本数据集转换为第一格式第二文本数据集；将所述第一格式第一文本数据集以及所述第一格式第二文本数据集进行编码格式转换，以形成第一格式第三文本数据集；对所述第一格式第三文本数据集进行数据清洗操作。本发明实现了基于Bash脚本和Spark开源集群运算框架的高效的数据分类清洗方案，能够在短时间内处理TB级别的互联网文本数据集，提高了清洗效率。

技术领域

本发明涉及计算机数据技术领域，特别涉及一种文本数据集清洗方法、装置及介质。

背景技术

近年来，互联网上面的新闻、博客、论坛、电子书等各类文本数据集越来越多，如何利用这些海量文本数据集集来生成高质量的文本数据集，以用于人工智能模型的训练和推理已成为热门的研究方向。为了对海量的文本数据集进行数据清洗以生成高质量的文本数据集，很多数据清洗框架出现再我们的视野中，例如开源软件框架(Hadoop)的MapReduce计算框架、Spark框架等。

开源软件框架(Hadoop)是一款支持数据密集型分布式应用程序的开源软件框架。是支持在商用硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的计算框架MapReduce和谷歌文件系统的论文自行实现而成。

Spark框架是一款开源集群运算框架，Spark使用了存储器内运算技术，能够在数据资料尚未写入硬盘时在存储器内分析运算。

然而，由于数据量巨大，很多数据清洗方案并不高效，虽然这些数据清洗方案采用了MapReduce、Spark等并行计算框架，但是由于数据清洗系统的整体设计以及各个模块采用的清洗算法效率比较低，所以这些清洗系统并不能在短时间内完成TB(10¹²)级别的数据的清洗。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种文本数据集清洗方法、装置及介质，可以在短时间内完成TB(10¹²)级别的数据的清洗。在这里清洗的数据来源为电子网盘或电子书网站下载的各类中英文电子书。这里对4TB大小的互联网电子书数据进行数据清洗，选用6台服务器，所述服务器具体配置为：128CPU核心、512GB内存、1.8TB NVME SSD硬盘，最终生成大小为655GB的高质量中文电子书数据集。通过以上方法能够实现基于Bash脚本和Spark开源集群运算框架的高效的数据分类清洗方案，能够在短时间内处理TB级别的互联网文本数据集，提高了清洗效率。

本发明实施例提供的具体技术方案如下：

第一方面，提供了一种文本数据集清洗方法，所述方法包括：

接收待清洗的文本数据集；

基于Bash脚本将所述待清洗的文本数据集分类成第一格式文本数据集和第二格式文本数据集；

对所述第一格式文本数据集和第二格式文本数据集进行中文过滤操作，以分别形成第一格式第一文本数据集和第二格式第一文本数据集；

将所述第二格式第一文本数据集转换为第一格式第二文本数据集；

将所述第一格式第一文本数据集以及所述第一格式第二文本数据集进行编码格式转换，以形成第一格式第三文本数据集；

对所述第一格式第三文本数据集进行数据清洗操作，其中所述数据清洗操作包括：通过消息摘要算法对所述第一格式第三文本数据集进行计算并进行内容去重操作。

进一步地，所述对所述第一格式文本数据集和第二格式文本数据集进行中文过滤操作，以分别形成第一格式第一文本数据集和第二格式第一文本数据集，包括：