[发明专利]一种文本数据集清洗方法、装置及介质

权利要求书

1.一种文本数据集清洗方法，其特征在于，所述方法包括：

接收待清洗的文本数据集；

基于Bash脚本将所述待清洗的文本数据集分类成第一格式文本数据集和第二格式文本数据集；

对所述第一格式文本数据集和第二格式文本数据集进行中文过滤操作，以分别形成第一格式第一文本数据集和第二格式第一文本数据集；

将所述第二格式第一文本数据集转换为第一格式第二文本数据集；

将所述第一格式第一文本数据集以及所述第一格式第二文本数据集进行编码格式转换，以形成第一格式第三文本数据集；

对所述第一格式第三文本数据集进行数据清洗操作，其中所述数据清洗操作包括：通过消息摘要算法对所述第一格式第三文本数据集进行计算并进行内容去重操作。

2.根据权利要求1所述的文本数据集清洗方法，其特征在于，所述对所述第一格式文本数据集和第二格式文本数据集进行中文过滤操作，以分别形成第一格式第一文本数据集和第二格式第一文本数据集，包括：

根据所述第一格式文本数据集中各文本数据的全路径中是否包括第一预设词汇来判断所述文本数据是否为中文文本数据，若是，则删除；若否，则保留；和/或根据所述第一格式文本数据集中各文本数据的前一百行是否包括中文字符来判断所述文本数据是否为中文文本数据，若是，则保留；若否，则删除，以形成第一格式第一文本数据集；

根据所述第二格式文本数据集中各文本数据的全路径中是否包括第一预设词汇来判断所述文本数据是否为中文文本数据，若是，则删除；若否，则保留，以形成第二格式第一文本数据集。

3.根据权利要求1所述的文本数据集清洗方法，其特征在于，所述将所述第一格式第一文本数据集以及所述第一格式第二文本数据集进行编码格式转换，以形成第一格式第三文本数据集，包括：

将所述第一格式第一文本数据集以及第一格式第二文本数据集中编码格式为第二编码格式的文本数据转换为第一编码格式的文本数据，以形成第一格式第三文本数据集。

4.根据权利要求1所述的文本数据集清洗方法，其特征在于，所述通过消息摘要算法对所述第一格式第三文本数据集进行计算并进行内容去重操作之前，还包括：

通过BERT BASE模型将所述第一格式第三文本数据集分成第一质量文本数据集和第二质量文本数据集；

删除所述第二质量文本数据集。

5.根据权利要求4所述的文本数据集清洗方法，其特征在于，所述对所述第一格式第三文本数据集进行数据清洗操作，还包括：

判断所述第一格式第三文本数据集中各文本数据的中文字符数是否大于或等于第一阈值且文本数据的中文字符占比是否大于或等于第二阈值；

若是，则保留此文本数据；若否，则删除。

6.根据权利要求4所述的文本数据集清洗方法，其特征在于，所述对所述第一格式第三文本数据集进行数据清洗操作，还包括：

将收集到的敏感词汇分为第一类敏感词汇和第二类敏感词汇；

遍历所述第一格式第三文本数据集；

若所述第一格式第三文本数据集中的文本数据包括所述第一类敏感词汇，则将其删除；

若所述第一格式第三文本数据集中的文本数据包括所述第二类敏感词汇，则将包括所述第二类敏感词汇的段落删除，保留此文本数据的其他部分。

7.根据权利要求4所述的文本数据集清洗方法，其特征在于，所述对所述第一格式第三文本数据集进行数据清洗操作，还包括：

将所述第一格式第三文本数据集中各文本数据的特殊字符去除；

将所述第一格式第三文本数据集中各文本数据的繁体字符转换为简体字符。

8.根据权利要求1所述的文本数据集清洗方法，其特征在于，所述方法包括：

对清洗后的所述第一格式第三文本数据集进行抽样校验；

将检验合格的所述第一格式第三文本数据集进行存储。