[发明专利]一种面向大规模多媒体检索的分布式异构并行计算系统有效
申请号: | 201510186094.0 | 申请日: | 2015-04-17 |
公开(公告)号: | CN104794194B | 公开(公告)日: | 2018-10-26 |
发明(设计)人: | 王瀚漓;肖波 | 申请(专利权)人: | 同济大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 上海科盛知识产权代理有限公司 31225 | 代理人: | 赵继明 |
地址: | 200092 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 大规模 多媒体 检索 分布式 并行 计算 系统 | ||
1.一种面向大规模多媒体检索的分布式异构并行计算系统,以分布式异构计算机集群为目标平台,分布式异构计算机集群包括多个计算节点,每个计算节点中包括一种或多种类型的处理器,其特征在于,包括:
性能估计模块,用于实时监测并更新不同计算节点在不同处理器上的计算性能;
数据切分模块,用于根据用户提供的输入数据读写函数和性能估计模块的监测结果对输入的计算任务进行切分,所述数据切分模块执行的数据切分包括将计算任务分配给各计算节点的初步切分和将计算任务在各计算节点内部分配的细分;
分级动态调度模块,用于对切分后的计算任务进行调度及负载均衡处理;
算法工具库,用于实现多种多媒体检索算法;
所述分级动态调度模块包括:
主调度器,用于将初步切分后获得的计算子任务调度到不同计算节点上;
节点调度器,用于将细分后的计算负荷调度到对应计算节点中的不同处理器上。
2.根据权利要求1所述的面向大规模多媒体检索的分布式异构并行计算系统,其特征在于,所述节点调度器设有多个,分别与主调度器通信连接,且各节点调度器相互通信连接。
3.根据权利要求1所述的面向大规模多媒体检索的分布式异构并行计算系统,其特征在于,所述节点调度器包括:
空闲通知单元,用于在对应计算节点空闲时向其它节点调度器发送“空闲”通知;
响应判断单元,用于判断在接收到其它节点调度器发送的“空闲”通知时是否响应该通知;
响应发送单元,用于在响应判断单元的判断结果为是时向发送“空闲”通知的节点调度器发送响应;
负荷切分单元,用于在响应发送单元发送响应时将本计算节点的计算子任务再次细分,分发给发送“空闲”通知的节点调度器。
4.根据权利要求1所述的面向大规模多媒体检索的分布式异构并行计算系统,其特征在于,所述多媒体检索算法包括图像特征点提取算法、KMeans聚类算法、BoW生成算法、SMK/ASMK/ASMK-Binary算法、HE和WGC算法以及倒排索引生成算法。
5.根据权利要求1所述的面向大规模多媒体检索的分布式异构并行计算系统,其特征在于,该系统运行时依赖的资源包括分布式文件系统、序列化/反序列化协议和远程过程调用服务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同济大学,未经同济大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510186094.0/1.html,转载请声明来源钻瓜专利网。