[发明专利]一种实现不同数据源之间数据处理的方法及装置

说明书

技术领域

本发明涉及通信技术领域，尤其是指一种实现不同数据源之间数据处理的方法及装置。

背景技术

随着通讯技术的不断发展，不同数据资源或不同存储设备之间数据的访问使用成为必然。现有技术跨数据源访问的方式，通常采用数据复制方法，将需要使用的数据从一侧复制到另一侧，该种数据处理方法针对于在必须用另一侧的全部数据时，是必选的方法，但若只是对部分数据操作，也采用上述将全部数据复制到另一侧再操作的方式，则效率极低，且传输和输入输出也受限。

目前通常使用的存储方式包括云计算(hadoop)平台与数据仓库，例如，对于移动终端的存储信息来说，Wap日志作为海量低价值数据通常存放于hadoop平台之上，每日数据1TB，而移动终端用户信息作为高度结构化数据则通常存放于数据仓库中。

当需要进行对某个(群)用户的上网行为分析时，需要用到此用户群体的部分日志行为，在这种场景里如果采用将wap日志1T大小的内容全部装载至数据仓库的数据处理方式，性能极低，且因为是某个范围的用户，再经过筛选之后，可能仅有数百条数据有效，而1TB数据大部分为不需要的数据，因此造成数据处理效率很难提高。

发明内容

基于以上，本发明技术方案的目的是提供一种实现不同数据源之间数据处理的方法及装置，能够实现不同数据源之间的透明访问，提高数据处理的效率。

本发明提供一种实现不同数据源之间数据处理的方法，所述方法包括：

解析用户发出的数据处理命令，其中所述数据处理命令中所涉及的数据包括第一数据源和第二数据源中的数据；

根据所述数据处理命令进行任务分解，分解后的所述数据处理命令包括对所述第一数据源中的数据操作的第一命令、对所述第二数据源中的数据操作的第二命令以及对所述第一数据源中的数据和所述第二数据源中的数据组合操作的第三命令；

向所述第一数据源下发执行所述第一命令，向所述第二数据源下发执行所述第二命令，并根据所述第一命令和所述第二命令的执行结果，执行所述第三命令。

优选地，在所述第一数据源执行所述第一命令，所述第二数据源执行所述第二命令之前，还包括：

对所下发的所述第一命令的信息进行格式转换，和/或对所下发的第二命令的信息进行格式转换，使所述第一数据源能够读取所述第一命令，所述第二数据源能够读取所述第二命令。

优选地，在执行所述第三命令之前还包括：

对所述第一命令执行获得的第一数据结果进行格式转换，和/或对所述第二命令执行获得的第二数据结果进行格式转换，使得能够依据所述第一数据结果和所述第二数据结果执行所述第三命令。

优选地，所述方法还包括：

预先记录所述第一数据源和所述第二数据源的数据内容信息。

优选地，在向所述第一数据源下发执行所述第一命令，向所述第二数据源下发执行所述第二命令之前，还包括：

根据预先记录的所述数据内容信息，比较所述第一命令和所述第二命令所涉及任务信息处理量；

若所述第一命令所涉及的任务信息处理量大于所述第二命令所涉及的任务信息处理量，则将所述第二命令所涉及数据转发至所述第一数据源，在所述第一数据源执行所述第一命令、所述第二命令和所述第三命令，并返回所述第三命令的执行结果；

若所述第一命令所涉及的任务信息处理量小于所述第二命令所涉及的任务信息处理量，则将所述第一命令所涉及数据转发至所述第二数据源，在所述第二数据源执行所述第一命令、所述第二和所述第三命令，并返回所述第三命令的执行结果；

若所述第一命令所涉及的任务信息处理量与所述第二命令所涉及的任务信息处理量相当，则向所述第一数据源下发执行所述第一命令，向所述第二数据源下发执行所述第二命令，并返回执行所述第一命令获得的第一数据结果和执行所述第二命令获得的第二数据结果，根据所述第一数据结果和所述第二数据结果执行所述第三命令。

优选地，根据所述第一数据结果和所述第二数据结果执行所述第三命令的步骤具体包括：

比较所述第一数据结果和所述第二数据结果的任务信息处理量；

若所述第一数据结果的任务信息处理量大于所述第二数据结果的任务信息处理量，则将所述第二数据结果转发至所述第一数据源，在所述第一数据源执行所述第三命令；

若所述第一数据结果的任务信息处理量小于所述第二数据结果的任务信息处理量，则将所述第一数据结果转发至所述第二数据源，在所述第二数据源执行所述第三命令；