[发明专利]一种高并发高解耦数据处理方法及数据中台系统

说明书

本发明公开了一种高并发高解耦数据处理方法及数据中台系统，涉及数据中台领域，包括：Ngnix服务器接收打包数据并分发给Publisher实例，Publisher实例根据业务类型将打包数据分发给消息队列，Consumer实例从消息队列获取打包数据并根据业务类型进行处理得到处理结果，Consumer实例将处理结果保存至本地数据库，本地数据库按照业务维度提供本地端口，并在公网提供相应的映射端口。本发明的有益效果：实现数据中台系统的高并发高解耦和低费用，架构清晰，易于扩展。

技术领域

本发明数据中台技术领域，具体涉及一种高并发高解耦数据处理方法及数据中台系统。

背景技术

中台是最早由阿里在2015年提出的“大中台，小前台”战略中延伸出来的概念，关于数据中台的整体定义，也随着头部企业落地数据种而组件清晰，数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。知名数据分析机构Canalys2019年2月的相关数据报告，2018年全球云计算市场规模突破800亿美元，达到804亿美元；未来10-15年，“数据中台”也许会超越今天的云计算市场，形成一个万亿级市场。

数据中台的“中”本身就是相对的，没有绝对的标准，需求的粒度也是不尽相同。它不是一个平台，也不是一个系统，更像是一种数据流处理的架构，灵活性非常大，所以即使拿到其他企业的中台源代码也不能立即上手复用到自己的企业应用当中。目前虽然有少数大厂已经提供了数据中台服务，可以解决大部分数据中台的架构设计问题，但是并不一定可以满足企业的需求，企业构建属于自己的一套具有高度灵活性的定制化数据中台解决方案是有必要性的，当然也是可行的，同时可以避免被大厂的服务所捆绑。

目前大部分的企业存在“业务生成数据，数据驱动业务”的这种需求，所以在数据中台的解决方案上存在较多问题，概括起来有下面几点：

(1)数据处理缺乏统一标准，与具体业务耦合，灵活性差，如何统一口径、标准和高时效性。

(2)架构边界定义不明确，对数据上报和数据处理不分离，存在歧义，扩展比较难。

(3)云服务器租赁费用较高，数据存储成本大，后期的迁移受限，被数据中台解决方案提供商强行绑定。

发明内容

针对现有技术中存在的缺陷，本发明提供一种低费用的高并发高解耦数据处理方法及数据中台系统。

为达到以上目的，采取的技术方案是：

一种高并发高解耦数据处理方法，包括：

数据入栈过程，通过Ngnix服务器接收打包数据并分发给多个Publisher实例，Publisher实例根据打包数据的业务类型将其分发给多个消息队列；

数据出栈过程，通过Consumer实例从多个消息队列获取打包数据，并对其进行处理得到处理结果，将处理结果存入本地数据库，本地数据库对处理结果进行分类得到对应不同业务维度的最终数据，每个业务维度的最终数据均通过唯一的本地端口和映射端口输出。

优选的，数据处理方法还包括配置过程：

配置本地数据库的预设分类策略，预设分类策略为根据多个业务维度对数据进行分类；

配置本地数据库，本地数据库包括多个本地端口，在公网上配置有与每个本地端口对应的映射端口。

优选的，配置过程还包括配置预设数量的数据来源端及对应的上报权限，配置上报权限包括：

数据来源端向数据中台系统申请appId、appKey、以及向数据中台系统上报打包数据时的原始URL；