[发明专利]分布式混合架构的海量数据处理和可视化系统及方法

摘要

本发明涉及分布式混合架构的海量数据处理和可视化系统及方法，其特征在于，硬件系统包括一台高性能图形工作站，一台的高速磁盘阵列，若干台计算节点，一台千兆或万兆以太网交换机，一台路由器；相应数据处理和可视化方法包括前端工作站方法和计算节点方法，前端工作站方法运行在前端工作站上，在计算节点必要的配合下，完成数据加载、数据处理、可视化和交互操作等工作；计算节点方法运行在计算节点上，以守护进程的方式运行，监听特定端口，检测到有计算任务发来，则根据任务信息启动相应的外存算法对数据进行处理，并将计算状态信息返回给前端工作站。本发明可以最大程度地保证网络带宽的利用率，同时提高前端工作站的用户操作响应速度。

主权项

一种分布式混合架构的海量数据处理和可视化方法，它包括以下步骤：1)设置一包括前端工作站、数据存储中心、计算节点和网络设备的分布式混合架构的海量数据处理和可视化系统；2)前端工作站在计算节点的配合下，完成数据加载、数据处理和对原始海量数据做多级重采样的可视化和交互操作；3)基于预处理结果，进行以下操作：①读取消息循环中下一条消息；②判断当前消息是否是窗口尺寸改变消息，若是则根据当前渲染窗口尺寸，计算能产生最清晰体绘制投影结果的最佳数据级数k，然后设置窗口刷新方式为“正常刷新”，并发送窗口刷新消息后，回到步骤①；否则进入步骤③；③判断当前消息是否是鼠标交互消息，若是则处理鼠标消息，更新相关场景渲染参数，然后设置窗口刷新方式为“鼠标交互刷新”，并发送窗口刷新消息，回到步骤①；否则进入步骤④；④判断当前消息是否是窗口刷新消息，若是进入步骤⑤；否则回到步骤①；⑤判断当前窗口刷新消息的刷新方式是否是“鼠标交互刷新”，若是则采用OpenGL着色语言实现的光线投射体绘制算法，对第n级数据进行GPU加速体绘制渲染，并显示渲染结果后，回到步骤①；否则进入步骤⑥；⑥判断第k级数据的数据量是否小于某一给定阈值T，若是则采用OpenGL着色语言实现的光线投射体绘制算法，利用GPU的并行计算能力，对第k级数据进行GPU加速体绘制渲染，并显示渲染结果后，回到步骤①；否则采用OpenMP实现的光线投射体绘制算法，利用多核CPU的并行计算能力，启动第k级数据的体绘制渲染，然后进入步骤⑦；⑦检测消息循环中是否有鼠标交互消息，若是则中断当前绘制过程，回到步骤①；否则进入步骤⑧；⑧判断渲染是否结束，若是则显示渲染结果后，回到步骤①；否则完成下一个投影像素点的计算，并回到步骤⑦。