[发明专利]一种基于GPU的加速采集数据处理的模型及方法

说明书

本发明公开了一种基于GPU的加速采集数据处理的模型及方法，该模型是在基于滑动窗口模型的基础上的跨总线的五层滑动窗口模型，设备句柄层、时序数据层通过总线与GPU设备的缓冲窗口层、正文窗口层、摘要矩阵层相连；本发明使用GPU不仅可以提高多数据流的实时处理能力，还能有效减少CPU的计算负担，使之将计算能力投入到数据过滤、缓冲和任务调度等需要繁杂的流程控制的任务中。挖掘GPU强大的计算功率，能够提高数据流并行实时处理能力。在能源控制器在进行密集采集时，通过GPU并行运算极大提升采集后端的处理效率，降低CPU占用时间。

技术领域

本发明涉及数据处理领域，主要是一种基于GPU的加速采集数据处理的模型及方法。

背景技术

能源控制器在进行密集采集时，后端处理会占用大量CPU运算时间，会出现线程阻塞的情况，造成采集数据丢失，本发明设计一种基于GPU的加速采集数据处理的方法算法，利用GPU的并行计算能力，提升采集后端的处理效率，降低CPU占用时间，提升数据采集成功率。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种基于GPU的加速采集数据处理的模型及方法。

本发明的目的是通过如下技术方案来完成的。一种基于GPU的加速采集数据处理的模型，该模型是在基于滑动窗口模型的基础上的跨总线的五层滑动窗口模型，设备句柄层、时序数据层通过总线与GPU设备的缓冲窗口层、正文窗口层、摘要矩阵层相连，主要包括：

(1)、设备句柄层，设备句柄层为数据建立通道和路径，为每个监控设备建立数据采集读写句柄并完成数据读写；

(2)、时序数据层，时序数据层中的数据是这样的三元组∶〈SD timestamp value，其中∶SD是数据流标志，timestamp是元组到达时间，value是数据值；该层的任务主要是进行数据缓冲，在这一层中，在任意数据采样时间单位内到达的数据必须无遗漏的缓冲，并要控制缓冲不能溢出；

(3)、缓冲窗口层，缓冲窗口用于减少主机与设备间的数据交换频率，提高多数据流并行计算的密集程度，数据缓冲层是图形处理器对多数据流并行处理的最小单位，经过摘要处理的缓冲窗口作为普通的子窗口更新到正文窗口中；

(4)、正文窗口层，正文窗口层用于在新的缓冲窗口被交换到GPU设备内存时，增量维护每条数据流的整体摘要信息；

(5)、摘要矩阵层，用于存放概要数据矩阵的层次和进行复杂多数据流解析任务。

本发明公开了一种基于GPU的加速采集数据处理的方法，该方法包括如下步骤：

a)CPU维护数据设备句柄，驱动IO从数据源获取数据流，并依据SID和timestamp将数据流写入缓冲窗口中对应位置，写满的缓冲窗口维护缓冲池浮标，保证数据不丢失；

b)CPU不断将缓冲区中时间戳最大的一个缓冲窗口中的数据交换到GPU设备内存。

c)执行摘要类内核，对n条数据流的缓冲窗口并行计算统计信息摘要；

d)执行读写类内核，对n条数据流的条正文窗口并行维护读写增量信息，并删除不活跃超时的数据摘要和更新数据；

e)执行解析类内核，在概要数据矩阵上执行多数据流解析并行计算内核，并将结果返回CPU主机内存；

f)在CPU主机上将结果输出给用户。

更进一步的，由主机调用，在GPU设备上执行的程序称为内核程序，摘要类内核负责生成和增量维护设备句柄、缓冲窗口及正文窗口摘要信息；读写类内核负责执行读写任务；解析类内核以摘要数据矩阵为输入执行多数据流采集解析运算。

更进一步的，在CUDA图形处理器通用并行计算模型中，通过将数据抽象到CUDA线程层次中，使用图形处理器的SMT多处理器对数据进行并行的计算。