[发明专利]可视化大数据中台-资源调用和算法

说明书

本发明提供可视化大数据中台‑资源调用和算法，包括开放性的系统架构，数据开发IDE模块，数据管理，离线调度系统，数据集成，运营数据可视化，ETL系统，把可公开的、可以为社会、企业提供服务的信息有效汇集，实现资源共享，为企业、社会提供有效的企业管理、成果转化等信息导向，提高社会经济运作效率，提高创业创新产业化率。

技术领域

本发明涉电子信息技术领域，具体涉及可视化大数据中台-资源调用和算法。

背景技术

一般说来，创业园公共信息服务平台可以采取层次结构，由若干区域创业园公共信息服务平台共同构成全国的统一平台，而区域创业园公共信息服务平台由区域内的众多创业园组织协同建设。区域创业园公共信息服务平台由统一管理机构建设运营，各创业园协助提供共享数据。

现有的创业园区通常只是进行简单的资源整合，将企业的信息进行整理和发布，没有较深入的规划。

发明内容

本发明的目的在于提供可视化大数据中台-资源调用和算法，整合信息资源，促进资源共享的需要，各级部门和创业园在创业创新产业化体系方面的投入不菲，却形成了“信息孤岛”、“散落珍珠”的格局，各创业园各自为政，重复建设，建设公共信息服务平台将有效地将散落的“珍珠”串成“串”，把可公开的、可以为社会、企业提供服务的信息有效汇集，实现资源共享，为企业、社会提供有效的企业管理、成果转化等信息导向，提高社会经济运作效率，提高创业创新产业化率。

可视化大数据中台-资源调用和算法，包括开放性的系统架构，数据开发IDE模块，数据管理，离线调度系统，数据集成，运营数据可视化，ETL系统；

开放性的系统架构包括控制层，服务层，应用层，所述控制层是业务分析基础平台离线加工的核心，工作流调度引擎承接着整个业务分析基础平台的调度包括:工作流的转实例、工作流调度，协调、控制所有任务的执行；所述服务层，为应用层或外部其他应用提供服务；所述应用层，基于底层服务直接和用户进行交互，为用户提供可视化的操作的界面；

所述数据开发IDE模块，提供一站式的集成开发环境，可满足业务分析环境下的快速数仓建模、数据查询、ETL开发、算法开发等需求，并提供多人在线协同开发、文件版本控制功能；

所述数据管理为用户提供租户范围内数据表搜索、数据表详情查看、数据表权限管理、收藏数据表功能；

所述离线调度系统为用户提供百万量级任务的离线调度服务，并提供可视化运维界面、在线日志查询、监控告警功能；

所述数据集成提供多种异构数据源的快速集成服务，为跨平台的异构数据提供快速数据整合的能力；

所述运营数据可视化提供创建交互性的、可视化的分析所需要的所有功能；

所述ETL系统，创建ETL系统的时候，应并存的两条主线：规划设计主线和数据流主线规划设计主线：需求和实现、架构、系统实施、测试和发布；数据流主线：抽取、清洗、规格化、提交。

进一步的，所述数据开发IDE模块，提供可视化工作流程设计器功能，类似Kettle的工具，支持用户对流程进行设计并编辑，对流程中的每一个任务节点进行相应的开发工作；提供本地数据上传功能，支持本地文本数据快速上云；提供海量异构数据源的数据快速集成能力；跨项目发布，快速将任务及代码部署到其他项目的调度系统；协同开发：代码版本管理，多人协同模式下的代码锁管理和冲突检测机制；提供MaxCompute（原ODPS）表搜索、资源搜索引用、自定义函数搜索引用、数据查询功能，用户可轻松索引数据。