[发明专利]一种数据标准化的数据采集方法

说明书

本发明提供了一种数据标准化的数据采集方法，包括，获取不同部门的业务数据以及对应的业务数据的数据采集口，建立业务数据与对应数据采集口的对应关系并调取数据采集业务，根据数据采集业务校验不同部门的业务数据的数据标准化，当所述数据标准化符合预设采集标准时，采集并存储所述业务数据，否则，根据校验结果，对业务数据或数据采集口进行预调整，来实现对所述业务数据的采集及存储，提高对业务数据的采集效率，且使得到的业务数据具有有效的数据价值。

技术领域

本发明涉及数据采集技术领域，特别涉及一种数据标准化的数据采集方法。

背景技术

大数据及人工智能时代，外部数据在服务信托金融业务数字化转型中的重要性愈加凸显，然而，在外部数据实际落地运用时会遇到各种各样的问题。比如，多部门各自引入，管理标准的不统一带来了数据安全得不到保障、使用成本高、数据难于整合共享等问题。

随着外部数据的增多和变化，对金融统计工作效率、统计数据的准确性、时效性要求更高，统计数据的运用范围也更广，使对外统计数据的采集在实际操作中面临着更大的困难。

目前对外采集统计数据困难，数据质量不高，数据的真实性和完整性难以保障，采集统计样本数量较少,代表性不强,增扩或调整调查样本困难，且在采集过程中，一般也是分批采集外部数据，各类数据存在重复采购现象，导致成本较高，同时，各个部门的业务口径又不相同，分析统计粒度也不一致，从而导致采集效率大打折扣，使得无法实现有效的数据价值，因此，本发明提出一种数据标准化的数据采集方法。

发明内容

本发明提供一种数据标准化的数据采集方法，用以通过获取不同部门的业务数据，并校验不同部门的业务数据的数据标准化，并通过校验结果对业务数据或数据采集口进行预调整，实现对业务数据的采集和存储，提高对业务数据的采集效率，且使得到的业务数据具有有效的数据价值。

本发明提供一种数据标准化的数据采集方法，包括：

获取不同部门的业务数据以及对应的业务数据的数据采集口；

建立所述业务数据与对应数据采集口的对应关系，并从关系数据库中，调取与所述对应关系相关的数据采集业务；

根据所述数据采集业务，校验不同部门的业务数据的数据标准化，当所述数据标准化符合预设采集标准时，采集并存储所述业务数据，所述数据标准化与数据类型、数据重叠与否有关；

否则，根据校验结果，确定所述数据标准化与预设采集标准的差异信息，并基于所述差异信息，对所述业务数据的传输属性的权重值和数据采集口的采集属性的权重值进行优先级排序；

对优先级排序高的权重值所对应的目标进行预调整，来实现对所述业务数据的采集及存储，所述目标为业务数据或数据采集口。

在一种可能实现的方式中，获取不同部门的业务数据，包括：

接收来自用户终端发送的各部门业务数据查询请求，所述各部门业务数据查询请求包括请求查询的业务数据的部门标识；

根据所述部门标识选择与所述部门标识相匹配的多个所述数据提供平台，选择所述数据提供平台的当前运行状态为可运行状态的多个数据提供平台，并选择所述数据提供平台服务质量高的平台作为目标提供平台；

从所述目标提供平台中获取与所述业务数据查询请求相对应的业务数据；

将业务数据发送至数据处理端，并通过所述数据处理端将处理后的业务数据发送至所述用户终端；

其中，所述数据处理端接收到所述业务数据后，并检测所述业务数据是否为出现异常，若是，标记所述业务数据为异常数据，并对所述异常数据进行剔除；否则，标记所述业务数据为正常数据，并缓存所述业务数据。

在一种可能实现的方式中，所述数据处理端将处理后的业务数据发送至所述用户终端，包括：