[发明专利]一种基于CPU+MIC异构平台的高维数据流的处理方法

摘要

本发明公开了一种基于CPU+MIC异构平台的高维数据流的处理方法，该处理方法通过一个载有MIC协处理器的高性能服务器系统实现，该系统节点采用CPU+MIC异构混合模式，一个节点内除CPU芯片外，还至少含有一个MIC协处理器；CPU是逻辑判断和控制的核心，并负责串行计算；MIC协处理器专注于高度线程化的并行处理任务，即计算密集和数据密集的部分转移到MIC协处理器上计算，优化数据流处理性能和分担数据处理。本发明的一种基于CPU+MIC异构平台的高维数据流的处理方法和现有技术相比，使用CPU和MIC协处理器协同进行处理，减轻了CPU的负担，使其更加专注于逻辑性强的事务处理和串行计算，加速高性能计算的速度，提高了数据流处理的吞吐能力和算法整体性能。

主权项

1.一种基于CPU+MIC异构平台的高维数据流的处理方法，其特征在于，该处理方法通过一个载有MIC协处理器的高性能服务器系统实现，该系统节点采用CPU+MIC异构混合模式，一个节点内除CPU芯片外，还至少含有一个MIC协处理器；CPU是逻辑判断和控制的核心，并负责串行计算；MIC协处理器专注于高度线程化的并行处理任务，即计算密集和数据密集的部分转移到MIC协处理器上计算，优化数据流处理性能和分担数据处理；所述的该处理方法通过六层架构实现，所述的六层架构为：时序数据处理层、数据映射层、数据缓冲层、滑动窗口层、概要矩阵抽取层以及查询分析处理层；1）时序数据处理层：该层的任务是由CPU进行处理的：数据I/O和数据过滤；在这一层中，对原数据流分三次处理：流速率调节，属性包装和数据过滤；流速率调节负责负载平衡和决定何时启动MIC协处理器，当数据流的流量达到一定规模时，启动MIC协处理器对数据流进行处理，作为一种提高数据流处理性能的手段；每次启动MIC协处理器协处理数据流，CPU以较大的分块将数据交换到MIC处理器，然后利用MIC处理器密集的数据计算能力和高内存带宽的特性对数据流进行高速处理；属性包装和数据过滤负责对数据流进行加工以改善数据流的质量，包括对流数据进行去噪、压缩编码、修正以减少存储空间和传输时间；在整个层中元组按时间t有序，如果任一高维数据流在时刻t未接收到元组，则以全0的元组代替，即允许稀疏数据流矩阵存在；2）数据映射层：对于图像相关的数据流，将CPU数组结构映射为MIC纹理结构，事先建立对应表达式，通过数据属性和纹理数据属性建立映射关系，找出CPU和MIC两类数据的一一对应关系，把CPU数据结构映射到MIC纹理上，从而在MIC上存放各个属性；3）数据缓存层：主要维护几类缓冲，包括注册的查询计划缓冲、同步数据查询操作工作区、数据流历史概要缓冲、数据流缓冲等四种性质的存储；4）滑动窗口层：流矩阵以队列的方式实现，队列中存放流数据的高维属性，进入滑动窗口层；更新矩阵时，用新元组替换掉最旧的元组，实现同步高维数据流概要数据结构增量归一化；5）概要矩阵抽取层：生成高维数据流的概要结构矩阵，存放概要数据矩阵的层次；6）查询分析处理层：完成各种基本查询和复杂分析；基本查询处理操作完成一般的选择、连接、投影和聚集的查询请求；复杂分析处理操作则是在信息提取层生成的概要信息基础上，进一步研究数据流中各种因素的性质和相互之间的关系。