[发明专利]一种高并发高解耦数据处理方法及数据中台系统

权利要求书

1.一种高并发高解耦数据处理方法，其特征在于，包括：

数据入栈过程，通过Ngnix服务器接收打包数据并分发给多个Publisher实例，Publisher实例根据打包数据的业务类型将其分发给多个消息队列；

数据出栈过程，通过Consumer实例从多个消息队列获取打包数据，并对其进行处理得到处理结果，将处理结果存入本地数据库，本地数据库对处理结果进行分类得到对应不同业务维度的最终数据，每个业务维度的最终数据均通过唯一的本地端口和映射端口输出。

2.如权利要求1所述的数据处理方法，其特征在于，数据处理方法还包括配置过程：

配置本地数据库的预设分类策略，预设分类策略为根据多个业务维度对数据进行分类；

配置本地数据库，本地数据库包括多个本地端口，在公网上配置有与每个本地端口对应的映射端口。

3.如权利要求2所述的数据处理方法，其特征在于，配置过程还包括配置预设数量的数据来源端及对应的上报权限，配置上报权限包括：

数据来源端向数据中台系统申请appId、appKey、以及向数据中台系统上报打包数据时的原始URL；

数据中台系统保存所有数据来源端的appId、appKey、以及原始URL，以在数据来源端向数据中台系统上报打包数据时对其进行验证，在验证通过时接收打包数据，在验证失败时反馈错误代码。

4.如权利要求3所述的数据处理方法，其特征在于，所述数据处理方法还包括：

数据打包过程，通过数据来源端获取原始数据，根据原始数据的数据属性生成业务类型，根据原始数据的业务类型和数据内容生成打包数据，根据appId、appKey、原始URL、以及时间戳生成最终URL后，通过HTTP POST请求方式将打包数据上传至关联于最终URL的Publisher实例；

数据使用过程，从映射端口获取最终数据进行数据应用。

5.如权利要求1所述的数据处理方法，其特征在于，打包数据包括第一类型数据和第二类型数据，第一类型数据的数据量小于第二类型数据；

第一类型数据包括JSON类型数据；

第二类型数据包括文件类型数据。

6.如权利要求5所述的数据处理方法，其特征在于，打包数据为第一类型数据时，Publisher实例接收打包数据后，将打包数据解析后得到的数据属性和数据内容作为相关信息存储至相应的消息队列；

打包数据为第二类型数据时，Publisher实例接收打包数据后，将打包数据解析后得到的数据内容存储至本地数据库并得到本地存储地址，将打包数据解析后得到的数据属性和本地存储地址作为相关信息存储至相应的消息队列。

7.如权利要求1所述的数据处理方法，其特征在于，Publisher实例接收到打包数据后，判断是否存在队列标识与打包数据的业务类型匹配的消息队列，如果存在，则将打包数据分发给相应的消息队列，如果不存在，则判断是否创建队列标识与打包数据的业务类型匹配的消息队列，并将打包数据分发给新建的消息队列。

8.如权利要求1所述的数据处理方法，其特征在于，Consumer实例从消息队列取出打包数据后，消息队列将该打包数据添加待处理标识后移至队列末尾；

Consumer实例对打包数据处理成功后向消息队列反馈处理成功通知，消息队列删除该打包数据；

Consumer实例对打包数据处理失败后向消息队列反馈处理失败通知，消息队列删除该打包数据的待处理标识，并将该打包数据重新放入消息队列。