[发明专利]异构源数据处理方法、装置、存储介质和电子设备在审
申请号: | 201911019822.3 | 申请日: | 2019-10-24 |
公开(公告)号: | CN110851495A | 公开(公告)日: | 2020-02-28 |
发明(设计)人: | 魏强;孙向学;王丹宁;张上亚;翟胜强 | 申请(专利权)人: | 长城计算机软件与系统有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458 |
代理公司: | 北京立纬知识产权代理有限公司 11826 | 代理人: | 徐丽昕 |
地址: | 100190 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 异构源 数据处理 方法 装置 存储 介质 电子设备 | ||
1.一种异构源数据处理方法,其特征在于,该方法包括:
获取各异构系统的原始数据文件;
根据预设的业务逻辑关联规则对原始数据文件分析处理,以将原始数据文件中的原始数据按照预设存储格式关联存储形成标准数据文件;
响应第一查询操作而从所述标准数据文件中获取相应查询的数据并统计分析查询的数据。
2.根据权利要求1所述的数据处理方法,其特征在于,还包括:
在根据预设的业务逻辑关联规则对原始数据文件分析处理时,根据预设的数据描述模板确定存储至标准数据文件中的原始数据的业务含义。
3.根据权利要求1所述的数据处理方法,其特征在于,所述获取各异构系统的原始数据文件的步骤包括:
响应一预设操作而展示一查询页面,该查询页面用以指示查询原始数据;
接收在所述查询页面输入的第二查询操作,响应于该第二查询操作而展示获取的原始数据文件;其中,所述原始数据文件包括文件名、文件类型、上传时间、文件来源和上传者信息中的一个或多个。
4.根据权利要求1所述的数据处理方法,其特征在于,还包括:
在将原始数据文件中的原始数据按照预设存储格式关联存储形成标准数据文件时,至少通过新增、删除、拖放或保存操作来完成数据存储过程。
5.根据权利要求1所述的数据处理方法,其特征在于,所述预设的业务逻辑关联规则包括与不同的原始数据文件的文件类型对应关联的子业务逻辑关联规则;相应的,所述根据预设的业务逻辑关联规则对原始数据文件分析处理的步骤,包括:
确定所述原始数据文件的文件类型;
当确定文件类型为第一类型时,通过第一子业务逻辑关联规则对所述原始数据文件的数据进行处理;该第一子业务逻辑关联规则包含原始数据文件中的数据列中的变量和元数据系统中变量的业务逻辑关联规则;
当确定文件类型为第二类型时,通过第二子业务逻辑关联规则对所述原始数据文件的数据进行处理,该第二子业务逻辑关联规则包含原始数据文件的表式中的变量和元数据系统中变量的业务逻辑关联规则。
6.根据权利要求5所述的数据处理方法,其特征在于,所述第一类型为CSV文件类型,所述第二类型为报表文件类型;和/或,所述标准数据文件包括关键数据列标识,用于对关键数据列进行标识区分。
7.根据权利要求1所述的数据处理方法,其特征在于,所述响应第一查询操作而从所述标准数据文件中获取相应查询的数据的步骤,包括:
获取查询结果,所述查询结果包括任务ID、源文件名称、描述状态、文件描述开始时间或文件描述结束时间。
8.一种异构源数据处理装置,其特征在于,该装置包括:
数据获取模块,用于获取各异构系统的原始数据文件;
数据处理模块,用于根据预设的业务逻辑关联规则对原始数据文件分析处理,以将原始数据文件中的原始数据按照预设存储格式关联存储形成标准数据文件;
数据查询模块,用于响应第一查询操作而从所述标准数据文件中获取相应查询的数据并统计分析查询的数据。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7任一项所述异构源数据处理方法的步骤。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~7任一项所述异构源数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于长城计算机软件与系统有限公司,未经长城计算机软件与系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911019822.3/1.html,转载请声明来源钻瓜专利网。