[发明专利]一种基于MIC协处理器的单数据流分位数处理方法

说明书

技术领域

本发明涉及大数据高性能计算的技术领域，特别是涉及一种基于MIC协处理器的单数据流分位数处理方法。

背景技术

现实生活中，高速网络故障诊断，零售业务中的交易数据流、在线拍卖、交易日志、Web跟踪和个性化、医学监测、通信领域中的电话记录数据流、网络监测中的数据包流、环境温度的监测数据以及卫星传回的图像数据流等形成了一种与传统数据库中静态数据不同的数据形态。数据流中的数据到达是快速、时变、不可预测和无限的数据流形式，不可能完全存储原始数据。而且这些数据流产生的数据量在多个应用领域中快速增长，而且产生数据流的应用通常要求在线实时处理。

对于传统的单数据流处理基本模型，传统的单数据流处理技术将所有数据存放到数据库或者数据仓库中；系统响应用户提交的DML语句，搜索数据存储媒介，返回查询结果。当数据规模很大时，数据往往以磁盘或者磁带为介质，因而执行查询操作需要大量的I/O交换，效率低下，不能适应实时系统的需求。由于单数据流本身不断变化且难以预测的特点，以及单数据流突发的产生对单数据流负载能力提出了更高的要求，同时单数据流处理因为时间开销过大而难以满足实时性需求，所以单数据流处理的高效性和实时性很低。

发明内容

本发明的目的是提供一种基于MIC协处理器的单数据流分位数处理方法，以实现提高单数据流处理的高效性和实时性。

为解决上述技术问题，本发明提供基于MIC协处理器的单数据流处理方法，该方法包括：

处理器CPU从单数据流中获取数据，将数据子集交换到MIC协处理器；

MIC协处理器利用所述MIC协处理器的内核对单数据流进行处理得到概要数据结构，并将所述概要数据结构的动态更新到所述MIC协处理器的内存中；

所述MIC协处理器接收到实时查询请求后，以当前滑动模块窗口的全部数据作为查询算法的数据源，执行数据流分位数查询算法，构建概要数据直方图。

优选的，所述MIC协处理器利用所述MIC协处理器的内核对单数据流执行数据流分位数并行算法，得到概要数据结构。

优选的，所述数据流分位数并行算法采用基于基本窗口的滑动窗口模型作为概要数据结构模型。

优选的，所述滑动窗口模型中滑动窗口的更新操作和删除操作以基本窗口为单位。

优选的，所述滑动窗口的时间段和长度是固定的。

优选的，所述MIC协处理器以数据块为单位，与主机之间交换单数据流中的数据元组。

优选的，所述MIC协处理器接收到实时查询请求之前，还包括：

当所述CPU接收到用户提出的查询请求时，所述CPU向内核附加解析后的查询请求，在结束当前数据块的处理后，执行查询请求，并将查询结果返回给所述CPU的端口，并将结果转换为用户可读的最终查询结果。

优选的，所述MIC协处理器利用所述MIC协处理器的内核对单数据流进行处理得到概要数据结构，并将所述概要数据结构的动态更新到所述MIC协处理器的内存中之后，还包括：

所述MIC协处理器将过期的基本窗口在所述MIC协处理器的内存上直接丢掉。

优选的，所述MIC协处理器执行数据流分位数并行算法的过程为：

分配主机缓冲区和MIC内存；

从数据源中获取数据，并向MIC协处理器交换数据；

启动MIC协处理器的内核，执行数据流分位数并行计算子算法MICQuantilesHistogram；

更新基本窗口，并删除过期的基本窗口；

若接收到On-time查询请求，执行数据流分位数并行查询子算法MICQuantilesQuery。

优选的，所述MIC协处理器利用所述MIC协处理器的内核对单数据流进行处理得到概要数据结构之后，还包括：

所述MIC采用一个长数组作为概要数据结构的载体，并使用一个偏移索引来访问基本窗口。