[发明专利]一种数据处理方法、装置、设备及介质

说明书

本申请涉及数据处理领域，提供一种数据处理方法、装置、设备及介质，用于数据标准化过程中的数据处理效率较低的问题。该方法包括：获取待处理的第一元数据，若确定第一元数据与标准元数据之间的匹配度不满足匹配度阈值条件，则将第一元数据输入已训练的生成模型，获得第二元数据，而生成模型是基于多个第一样本数据、以及每个第一样本数据对应的第一样本标准元数据进行训练得到的，也就是说，本申请实施例中可以自动将不满足条件的第一元数据转换为标准的数据，相较于人工处理数据的方式，可以提高数据标准化过程中的数据处理效率。

技术领域

本申请涉及数据处理领域，提供一种数据处理方法、装置、设备及介质。

背景技术

数据标准化是指将非标准的数据转换为标准的数据，非标准的数据即针对相同含义的字段，在不同数据表中表达不同或格式不同。数据标准化对于数据分析、数据挖掘等具有重要意义。

目前，主要通过人工手动将非标准的数据逐个转换为标准的数据。然而这种人工处理数据的方式的效率较低。

发明内容

本申请实施例提供一种数据处理方法、装置、设备及介质，用于数据标准化过程中的数据处理效率较低的问题。

第一方面，提供一种数据处理方法，包括：

获取待处理的第一元数据，其中，所述第一元数据为数据表的表项中的文本；

若确定所述第一元数据与标准元数据之间的匹配度不满足匹配度阈值条件，则将所述第一元数据输入已训练的生成模型，获得第二元数据，其中，所述第二元数据为标准的数据，所述生成模型是基于样本数据集进行训练得到的，所述样本数据集包括多个第一样本数据，以及每个第一样本数据对应的第一样本标准元数据。

本申请实施例中，若确定数据表中的待处理的第一元数据与标准元数据之间的匹配度不满足匹配度阈值条件，则将第一元数据输入已训练的生成模型，由于生成模型是基于多个样本数据、以及每个样本数据对应的样本标准元数据进行训练得到的，因此生成模型可以自动基于第一元数据，输出标准的第二元数据，相较于手动将第一元数据转换为标准元数据的方式，可以减少大量的人力成本，提高数据标准化过程中的数据处理效率。且，本申请实施例将数据表中的第一元数据转换为标准的第二元数据，标准的第二元数据更有利于后续的数据分析等工作。

在一种可能的实施例中，若确定所述第一元数据与标准元数据之间的匹配度不满足匹配度阈值条件，则将所述第一元数据输入已训练的生成模型，获得第二元数据，包括：

所述第一元数据包括第一数据元，若所述第一数据元与标准元数据中的标准数据元之间的匹配度小于第一预设阈值，则将所述第一数据元输入已训练的生成模型，获得标准的第二数据元，其中，所述第二元数据包括所述第二数据元；和/或，

所述第一元数据包括用于限定所述第一数据元的第一限定文本，若所述第一限定文本与标准元数据中的标准限定文本之间的匹配度小于第二预设阈值，则将所述第一限定文本输入已训练的生成模型，获得标准的第二限定文本，其中，所述第二元数据包括所述第二限定文本。

本申请实施例中，第一元数据中可能包括不标准的数据元，或者可能包括不标准的限定文本，本申请实施例可以根据实际情况，灵活地将不标准的数据元转换为标准的数据元，或者将不标准的限定文本转换为标准的限定文本，在将第一元数据转换为标准的元数据的基础上，仅将不满足匹配度阈值条件的第一元数据输入已训练的生成模型，还能够适当地减少生成模型的处理量。

在一种可能的实施例中，所述第一元数据包括第一数据元和用于限定所述第一数据元的第一限定文本；在若确定所述第一元数据与标准元数据之间的匹配度不满足匹配度阈值条件，则将所述第一元数据输入已训练的生成模型，获得第二元数据之前，所述方法还包括：