[发明专利]松散环境下分布式大数据计算的中间件体系框架

摘要

本发明涉及的是一个对应于PAAS&IASS可适用于云大数据计算应用的松散环境下分布式大数据计算中间件体系框架（以下简称Rhizome），包括代理模块，功能模块和功能管理模块三个构架主体。本发明的优点：1）解决了常用云分布式计算框架支持大数据计算应用时无法处理复杂通信机制及效率低下的问题；同时可采用MoC，如数据流模式在云计算框架中显式体现和拓展应用的并行模式；2）采用的两层代理模式在云操作系统环境中支持可靠及可量化的客户端+云的软件开发；实验性的评估展示了在Rhizome的帮助下Hadoop云视频计算应用取得了优异的表现，并且提供了实质上更好的编程简易性、硬件加速单元对接便易性和系统稳健性。

主权项

松散环境下分布式大数据计算中间件体系框架，对应于PAAS&IASS层，适用于云大数据计算应用，亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中，其特征是包括代理模块，功能模块和功能管理模块，以视频分析处理为例各模块的操作步骤如下：步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务功能模块，功能管理模块同时分配共享内存通道作为数据源及格式转换任务功能模块输出，相关信息，包括共享内存接口信息，反映在代理模块中；步骤二：通过算法代理模块， 连接算法功能管理模块，启动算法分析任务功能模块，功能管理模块同时分配共享内存通道作算法分析任务功能模块输入，相关信息，包括共享内存接口信息，反映在代理模块中；步骤三：待处理云数据在信号的帮助下在共享内存的通道内高速传输，同时算法分析任务等功能模块以本地操作系统实现或硬件加速单元方式高速执行，并上传/存储相应分析结果；步骤四：各功能模块的任务完成进度及任务状态将频繁的报给特定的功能管理模块，并等待代理模块请求时，应现有云框架的任务调度，状态监控需求时，由功能管理模块提交给代理模块；步骤五：任务完成后，通过代理模块，提交请求给对应功能管理模块，关闭视频解码任务和算法分析任务功能模块。