[发明专利]一种基于大数据技术的多源数据集成方法及其系统

说明书

本发明涉及大数据技术领域，具体公开了一种基于大数据技术的多源数据集成方法及其系统，包括，用户通过业务端处理装置发起数据查询请求；接口处理装置接收和分析数据查询请求，判断对应的数据获取渠道，通过相应渠道获取对应的数据并发送给大数据集群装置；建立数据关联关系并进行存储；大数据集群装置实时执行数据流，形成和存储对应的数据结果，进行数据关联；任务监测装置实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制。本发明可以将多个业务端与大数据系统有效结合，同时集成多个第三方数据接口，形成可供用户业务端查询数据的有效体系。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于大数据技术的多源数据集成方法及其系统。

背景技术

目前在很多领域，均需用到大数据技术，需要利用多种数据来提供信息参考以进行相关决策。同时，如今社会领域，服务越趋细化和专业化，对应地，也各自形成相应专业化的数据。

因此，当用户需要查询相关数据时，通常需要通过多种渠道途径来分别查询不同数据并对其进行整合，如此操作，无疑给用户造成不便，效率低下。

发明内容

为了解决现有技术中存在的难题，本发明的目的在于提供一种基于大数据技术的多源数据集成方法及其系统，可以将多个业务端与大数据系统有效结合，同时集成多个第三方数据接口，形成用户端查询数据的有效体系。

为实现上述目的，本发明采用如下方案。

一种基于大数据技术的多源数据集成方法，包括：

用户通过业务端处理装置发起数据查询请求；

接口处理装置接收和分析数据查询请求，判断对应的数据获取渠道，通过相应渠道获取对应的数据并发送给大数据集群装置；建立数据关联关系并进行存储；

大数据集群装置实时执行数据流，形成和存储对应的数据结果，进行数据关联；

任务监测装置实时监测数据状态，根据预先设定的触发条件及其处理机制，触发执行相应的处理机制。

作为优选实施例，分析数据查询请求，建立数据关联关系，包括，判断所述数据查询请求是否有生成过数据结果，若是，则直接调取对应的数据结果，并将数据结果与所述数据查询请求进行关联；若否，则判断数据调取请求表中是否关联有相同的数据查询请求，如有，则将所述数据查询请求与数据调取请求表的相同数据查询请求进行关联；如没有，则在数据调取请求表中对应所述数据查询请求生成新的数据调取请求。

通过上述步骤，将相同的查询请求进行关联，生成一条数据调取请求，从而只需要完成一次数据调取即可满足相同数据查询请求的其他数据查询需求，从而降低数据调取资源的浪费。

进一步地，建立数据关联关系，在判断所述数据查询请求是否有生成过数据结果之前，还包括，分析所述用户是否发起过相同的数据查询请求，如是，则触发用户选择发起最新数据查询请求或者查看历史查询的数据结果；若用户选择发起最新数据查询请求，则继续判断所述数据查询请求是否有生成过数据结果；若用户选择查看历史查询的数据结果，则触发调取历史查询的数据结果；如否，则继续判断所述数据查询请求是否有生成过数据结果。

作为优选实施例，调取历史查询的数据结果，包括，触发业务端处理装置判断是否在业务端存有所述历史查询的数据结果，若是，则触发从业务端调取数据结果并展示；若否，则触发接口处理装置向大数据集群装置请求调取所述历史查询的数据结果。

通过业务端存储从大数据集群装置调取的数据结果，便于业务端快速读取数据，同时，也减少大数据集群装置执行数据流所用的资源浪费。