[发明专利]数据标准化方法、装置、介质及设备

说明书

本申请涉及人工智能技术领域，揭示了一种数据标准化方法、装置、介质及设备，其中方法包括：获取待标准化数据；将所述待标准化数据输入映射关系库进行映射，得到映射结果；当所述映射结果为成功时根据所述映射结果，确定目标标准化结果，否则将所述待标准化数据输入目标NLP模型进行映射匹配，得到匹配结果；当所述匹配结果为成功时根据所述匹配结果，确定所述目标标准化结果，否则将所述待标准化数据输入共现关系库，得到共现结果，所述共现结果包括共现关系数据、共现次数；根据所述共现结果，确定所述目标标准化结果。从而提高了标准化效率，降低了成本，对历史数据进行了充分利用。

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种数据标准化方法、装置、介质及设备。

背景技术

在数据治理中，数据的标准化是其中最重要的环节之一，数据标准化的质量决定数据的价值和应用程度。现有技术中采用人工方法进行数据标准化，效率低、成本高；而且在数据标准化时，对历史标准化数据、各业务历史映射数据没有进行充分利用。

发明内容

本申请的主要目的为提供一种数据标准化方法、装置、介质及设备，旨在解决现有技术中数据标准化效率低、成本高，对历史标准化数据、各业务历史映射数据没有进行充分利用的技术问题。

为了实现上述发明目的，本申请提出一种数据标准化方法，所述方法包括：

获取待标准化数据；

将所述待标准化数据输入映射关系库进行映射，得到映射结果；

当所述映射结果为成功时根据所述映射结果，确定目标标准化结果，否则将所述待标准化数据输入目标NLP模型进行映射匹配，得到匹配结果；

当所述匹配结果为成功时根据所述匹配结果，确定所述目标标准化结果，否则将所述待标准化数据输入共现关系库，得到共现结果，所述共现结果包括共现关系数据、共现次数；

根据所述共现结果，确定所述目标标准化结果。

进一步的，所述将所述待标准化数据输入目标NLP模型进行映射匹配，得到匹配结果的步骤，包括：

将所述待标准化数据输入目标NLP模型；

通过所述目标NLP模型根据所述待标准化数据进行映射匹配，得到匹配关系数据；

通过所述目标NLP模型对所述匹配关系数据进行相似度评分，得到相似度评分结果；

当所述相似度评分结果小于预设评分阈值时确定所述匹配结果为失败，否则确定所述匹配结果为成功。

进一步的，所述将所述待标准化数据输入共现关系库，得到共现结果，所述共现结果包括共现关系数据、共现次数的步骤，包括：

将所述待标准化数据在所述共现关系库中进行查找，得到共现数据；

根据所述共现数据，确定所述共现关系数据和所述共现次数。

进一步的，所述根据所述共现结果，确定所述目标标准化结果的步骤，包括：

当所述共现次数大于第一次数阈值时，根据所述共现次数对应的所述共现关系数据，确定所述目标标准化结果；

当所述共现次数小于或等于第一次数阈值，并且，所述共现次数大于第二次数阈值时，将所述共现次数对应的所述共现关系数据发送给复核端，获取复核端发送的第一人工复核结果，根据所述第一人工复核结果，确定所述目标标准化结果；

当所述共现次数小于或等于第二次数阈值时，将所述待标准化数据发送给映射端，获取所述映射端发送的人工映射数据，根据所述人工映射数据，确定所述目标标准化结果。