[发明专利]数据处理方法及装置

说明书

本申请实施例提供了一种数据处理方法及装置，包括：接收对数据集成中业务数据的分析指令；响应于所述分析指令，获取所述业务数据的元数据和所述业务数据的数据内容，所述元数据指示所述业务数据的数据属性；将所述元数据输入到第一模型中进行第一处理，得到第一处理结果，所述第一处理用于计算所述元数据与参考元数据之间的相似度；将所述数据内容输入到第二模型中进行第二处理，得到第二处理结果，所述第二处理用于计算所述数据内容与参考数据内容之间的相似度；根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

数据集成是把不同来源、格式和特点性质的数据在逻辑上或物理上有机的集中，从而为企业提供全面的数据共享。

在一些场景下，对于数据集成的数据分析的方式是通过人为盘点的方式，具体是与数据所有部门会议拉通，对数据的元数据进行分析以及建立台账，供后续数据集成的数仓建设提供输入，其中，元数据为描述数据的数据，主要是描述数据属性的信息，用来支持如指示数据的存储位置、历史数据、资源查找、文件记录等功能。采用人工盘点的方式，不仅数据分析的效率低下，且其仅通过对数据的元数据进行分析，无法保证数据的准确信息，导致数据分析的结果的准确率较为低下。

发明内容

本申请实施例的目的是提供一种数据处理方法及装置，以解决数据分析效率和数据分析的结果的准确率低下的问题。

为了解决上述技术问题，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种数据处理方法，包括：接收对数据集成中业务数据的分析指令；响应于所述分析指令，获取所述业务数据的元数据和所述业务数据的数据内容，所述元数据指示所述业务数据的数据属性；将所述元数据输入到第一模型中进行第一处理，得到第一处理结果，所述第一处理用于计算所述元数据与参考元数据之间的相似度；将所述数据内容输入到第二模型中进行第二处理，得到第二处理结果，所述第二处理用于计算所述数据内容与参考数据内容之间的相似度；根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。

第二方面，本申请实施例提供了一种数据处理装置，数据处理装置包括：接收模块，用于接收对数据集成中业务数据的分析指令；获取模块，用于响应于所述分析指令，获取所述业务数据的元数据和所述业务数据的数据内容，所述元数据指示所述业务数据的数据属性；处理模块，用于将所述元数据输入到第一模型中进行第一处理，得到第一处理结果，所述第一处理用于计算所述元数据与参考元数据之间的相似度；所述处理模块，还用于将所述数据内容输入到第二模型中进行第二处理，得到第二处理结果，所述第二处理用于计算所述数据内容与参考数据内容之间的相似度；确定模块，用于根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。

第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现如第一方面的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现如第一方面的方法步骤。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法步骤。