[发明专利]一种基于二维映射表的数据处理方法及系统

说明书

本发明提出了一种基于二维映射表的数据处理方法及系统，涉及互联网技术领域。一种基于二维映射表的数据处理方法包括：获取来源数据采集范围和数据采集方式；根据数据采集方式以及数据库产品选择对应的模型；根据确定的模型建立数据的访问方式；采用数据处理任务调度引擎、任务执行引擎、数据映射规则模型建立数据处理机制；确定ETL处理脚本的实现工具并选定预设脚本工具实现数据处理。通过将数据开发从线下搬到了线上，系统运营的每个环节都能在线上实现，为企业IT整体数字化转型提供了有力的基础支撑。此外本发明还提出了一种基于二维映射表的数据处理系统，包括：获取模块、选择模块、设计模块、建立机制模块以及输出模块。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种基于二维映射表的数据处理方法及系统。

背景技术

随着移动互联网和数字化信息产业的快速发展，大数据应用市场不断扩大，在推动我国经济数字化转型升级过程中发挥着关键作用。“作为新时代的石油”，数据，已经渗透到当今每一个行业和业务职能领域，成为了企业最宝贵的资产，并得到了各行各业的高度重视。其中如何高效、快速、准确的利用好数据，挖掘其中的价值，为企业运营的每一个环节服务，成为当下各企业面临的共同难题。

传统企业级数据平台的开发和使用，因数据本身存在的历史原因以及数据开发的技术原因，通常会面临五大困难：

系统孤立数据隔离：传统零散的应用需求促使企业搭建了许多只满足某个应用场景的相对孤立的应用数据平台，也就是我们常说的数据孤岛，孤岛之间数据共享不畅，应用之间无法产生协同效应。

数据使用灵活性差：很多时候业务人员需要的指标数据，当前系统无法提供，需要向科技部门提出数据开发需求。科技人员通常需要经过分析、设计、开发、测试、上线等流程，最后才能满足业务人员的数据需求。这个过程通常需要经历一个相当长的时间(通常几天或者几个月)，而很多时候业务人员的数据需求都是临时性的，时效性要求较高，需求生命周期较短，类似冗长的数据处理机制很难满足业务发展的实际需求。

平台操作便携度低：很多时候处理数据，由于各种规定和风险控制，我们需要回到公司打开电脑或者在其他地方通过VPN访问数据平台执行系统的各种操作。

数据开发门槛较高：传统的方案中搭建数据平台通常需要ETL或者大数据开发人员利用某脚本语言开发数据处理脚本，将数据按照业务规则处理成需要的模型数据(通常是维度模型)。其中，数据需求的变更，新需求的响应通常都由专业科技开发人员通过线下修改代码、测试代码、线上部署代码完成。

数据视图透明度低：传统的数据平台中，数据的处理逻辑都散落在脚本中，业务人员很难知道企业的业务数据都去哪了，也很难知道系统中使用的指标数据是怎么来的。部分企业为此搭建了元数据管理平台，但是由于元数据采集困难，系统很难及时准确的反应当前最新的数据处理逻辑，而且，元数据管理平台的搭建也增加了系统建设和维护成本。以上问题亟需解决。

发明内容

本发明的目的在于提供一种基于二维映射表的数据处理方法，其能够快速配置需要的数据集，通过前端配置助手，可以快速完成数据处理开发需求，为前端BI数据分析提供了强大、便捷的数据处理支撑平台，通过将数据开发从线下搬到了线上，系统运营的每个环节都能在线上实现，为企业IT整体数字化转型提供了有力的基础支撑。

本发明的另一目的在于提供一种基于二维映射表的数据处理系统，其能够运行一种基于二维映射表的数据处理方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种基于二维映射表的数据处理方法，其包括获取来源数据采集范围和数据采集方式；根据数据采集方式以及数据库产品选择对应的模型；根据确定的模型建立数据的访问方式；采用数据处理任务调度引擎、任务执行引擎、数据映射规则模型建立数据处理机制；确定ETL处理脚本的实现工具并选定预设脚本工具实现数据处理。