[发明专利]一种多源数据处理方法及装置

说明书

本发明公开了一种多源数据处理方法及装置，包括：获取目标数据接口，所述目标数据接口为接入目标数据处理平台的数据接口，且所述目标数据接口能够对不同数据源的数据进行传输协议转换；将所述目标数据接口发送至待接入数据对应的数据传输方，以使得所述数据传输方基于所述目标数据接口将待接入数据传输至目标数据平台；响应于所述目标数据接口接收所述待传输数据获得待处理数据，对所述待处理数据进行数据清洗，获得目标数据。本发明能够基于目标数据接口对不同数据源的数据进行接入，并对数据按照标准的处理模式进行处理，使得实现了对多源数据统一处理，以及提升多源数据的处理效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种多源数据处理方法及装置。

背景技术

城市综合能源平台是连接了大量关键物联设备的信息化系统，其可以汇聚融合城市电、水、冷、热等多种能源供用信息，通过开展多场景数据的挖掘与运用，开发出更符合用户的城市综合能源产品及服务，以满足新型智慧城市对能源综合利用的问题。

通常接入城市综合能源平台的数据提供方较多，且数据类型也较为丰富，如数据可以包括用户数据、能源计量数据、能源计费数据等。并且各个数据提供方的数据更新频率也存在不一致且不同步的情况，数据格式也会不统一。随着接入城市综合能源平台的数据量的不断提升，由于接入数据多样化、来源较多、格式不一致等问题，降低了对数据的处理效率，无法保证城市综合能源平台的有效运行。

发明内容

针对于上述问题，本发明提供一种多源数据处理方法及装置，实现了对多源数据统一处理，以及提升多源数据的处理效率。

为了实现上述目的，本发明提供了如下技术方案：

一种多源数据处理方法，包括：

获取目标数据接口，所述目标数据接口为接入目标数据处理平台的数据接口，且所述目标数据接口能够对不同数据源的数据进行传输协议转换；

将所述目标数据接口发送至待接入数据对应的数据传输方，以使得所述数据传输方基于所述目标数据接口将待接入数据传输至目标数据平台；

响应于所述目标数据接口接收所述待传输数据获得待处理数据，对所述待处理数据进行数据清洗，获得目标数据。

可选地，所述获取目标数据接口，包括：

获取待接入数据的数据类型，并基于所述数据类型确定数据接口的参数信息；

获取与所述待接入数据对应的数据传输方信息，并基于所述数据传输方信息生成接入地址和访问授权码；

基于所述接入地址和所述访问授权码，发送与所述参数信息相匹配的接口调用请求信息；

响应于接收到接口调用成功的反馈信息，获得与所述参数信息相匹配的目标数据接口。

可选地，所述对待处理数据进行数据清洗，获得目标数据，包括：

对所述待处理数据进行缺失值处理，得到第一数据；

基于目标数据格式对所述第一数据进行数据一致化处理，得到第二数据；

根据目标筛选条件对所述第二数据进行筛选，得到第三数据；

对所述第三数据去除符合删除条件的数据，得到第四数据，其中，所述删除条件包括重复数据删除条件、不满足预设范围数据删除条件和错误数据删除条件中的至少一个；

若所述第四数据进行关联性验证，基于验证结果确定目标数据。

可选地，所述对所述待处理数据进行缺失值处理，得到第一数据，包括：

获取所述待处理数据的第一维度指标和第二维度指标，其中，所述第一维度指标为数据重要性维度指标，所述第二维度指标为数据缺失维度指标；