[发明专利]基于降维切分技术实现分布式高并发数据汇总的方法

说明书

基于降维切分技术实现分布式高并发数据汇总的方法，涉及大气环境及计算机处理技术领域，解决现有技术采用通信协议进行数据传输时，无法解决分布式复杂的CALPUFF模型计算场景中的IO、计算效率以及内存的使用等多重情况的问题，本方法基于高并发数据汇总系统实现，所述数据汇总系统包括数据处理系统和计算节点系统；按照数据的时间、空间等纬度，将数据进行切片，可以并发的对数据处理，这样随着计算节点服务器的增多，数据切片就越多，数据整体汇总的效率就可以大大提高；节点服务器将本服务器的所有数据汇总完毕后，将数据进行降维，本发明所述方法大大提高了数据处理效率，提高了网络使用效率降低了网络压力，与此同时也降低对服务器硬件的要求。

技术领域

本发明涉及大气环境及计算机处理技术领域，具体涉及一种基于降维切分技术实现分布式高并发数据汇总的方法。

背景技术

在分布式复杂的CALPUFF模型计算过程中，会产生大量的模型计算结果数据。CALPUFF模型计算的数据结果是多维的。例如计算一个CALPUFF案例，需要有一个时间纬度、同时还有坐标纬度、最后还有污染物纬度。

一般情况下，一个CALPUFF案例计算的时间周期为一周左右，不过在某些特定的计算场景下，可以达到一年；计算的坐标纬度即模型网格的数量，一般为一万到数万，在特殊场景下可以达到百万级别；计算的污染物纬度即污染物的个数，一般为5个，在特殊场景下可以达到上百个污染物。由于这些数据的大小会随着模型的复杂程度，以及计算的时间成线性正比的增长关系，可以从几百MB，到上百GB。这样的话，对模型计算的结果数据的汇总以及统计分析就提出了很高的要求，尤其是要适应在分布式环境中的几百GB数据传输与汇总。

在现有的技术方案中，可以通过各种不同的协议进行数据传输，每种协议都适应于不同的场景，其中也有类似于TCP协议，FTP协议等这种适合大数据传输的方案。虽然这些协议可以解决大数据传输的单一问题，但是分布式复杂的CALPUFF模型计算场景中，需要兼顾IO的性能，计算的性能，内存的使用等多重情况，需要综合考虑硬件成本以及计算效率的因素。所以，单一的方案无法有效的解决所有问题。因此，本方案结合以上的问题，提供可以适合以上使用场景，满足以上要求的解决方案。

发明内容

本发明为解决现有技术采用通信协议进行数据传输时，无法解决分布式复杂的CALPUFF模型计算场景中的IO、计算效率以及内存的使用等多重情况的问题，提供一种基于降维切分技术实现分布式高并发数据汇总的方法。

基于降维切分技术实现分布式高并发数据汇总的方法，该方法基于高并发数据汇总系统实现，所述数据汇总系统包括数据处理系统和计算节点系统；

所述计算节点系统由多个计算节点服务器组成，CALPUFF模型计算案例随机分配至对应的计算节点服务器，每个计算节点服务器中均包括WRF计算模型计算模块、CALMET模型计算模块和CALPUFF模型计算模块；每个计算节点服务器根据模型计算的结果进行切片，然后进行局部汇总，然后将每个计算节点服务器进行局部汇总的数据传送至数据处理系统进行最终的汇总；

所述数据处理系统包括数据汇总模块、数据分析模块、数据转存模块和图片渲染模块；

所述数据汇总模块用于对接收各个计算节点服务器传送的局部汇总数据进行实时汇总；

所述数据分析模块用于对CALMET和CALPUFF案例最终计算的结果上进行二次数据分析；

数据转存模块完成各种数据的持久化存储；需要被持久化存储的数据包括CALMET和CALPUFF模型计算的结果数据，以及二次统计分析的数据；

所述图片渲染模块将数据渲染成制定格式的图片；需要渲染的数据内容包括CALMET和CALPUFF案例最终计算的结果数据。

本发明的有益效果：