[发明专利]一种基于MapReduce的K-means聚类算法FPGA加速系统有效
申请号: | 201610308843.7 | 申请日: | 2016-05-11 |
公开(公告)号: | CN107368375B | 公开(公告)日: | 2019-11-12 |
发明(设计)人: | 李开;曹计昌;邹复好;阳美玲;黄浩 | 申请(专利权)人: | 华中科技大学 |
主分类号: | G06F9/54 | 分类号: | G06F9/54;G06F13/40;G06K9/62 |
代理公司: | 华中科技大学专利中心 42201 | 代理人: | 梁鹏 |
地址: | 430074 湖北*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 mapreduce means 算法 fpga 加速 系统 | ||
1.一种基于MapReduce的K-means聚类算法FPGA加速系统,其特征在于,
该加速系统可模块化设计,可多个独立并行设置于集群中实现加速;
所述加速系统包括:Map任务数据收发子系统、Map任务加速子系统、Reduce任务数据收发子系统和Reduce任务加速子系统;
所述Map任务数据收发子系统传送来自PCIe端的对应数据给所述Map任务加速子系统,并将所述Map任务加速子系统的计算结果数据回传给PCIe端;
所述Reduce任务数据收发子系统传送来自所述PCIe端的对应数据给所述Reduce任务加速子系统,并将所述Reduce任务加速子系统最终计算结果回传给PCIe端;
所述Reduce任务加速子系统完成K-means聚类算法中单个MapReduce任务的Reduce计算阶段,即计算K个类簇的聚类中心;
所述Map任务加速子系统完成所述K-means聚类算法中单个MapReduce任务的Map计算阶段,即计算数据对象与K个所述聚类中心的距离,并将所述数据对象指派到一个距离其最近的聚类中心所在的类簇。
2.如权利要求1所述的基于MapReduce的K-means聚类算法FPGA加速系统,其特征在于,
所述Map任务数据收发子系统和所述Reduce任务数据收发子系统的组成都包括各自的交互接口模块、数据读取模块和数据发送模块;
所述Map任务数据收发子系统中的数据读取模块、数据发送模块与所述PCIe端相连,所述Map任务加速子系统与所述Map任务数据收发子系统中的数据读取模块相连,所述Map任务数据收发子系统中的数据发送模块与所述Map任务加速子系统相连;所述Map任务数据收发子系统中的交互接口模块与所述PCIe端相连,所述Map任务加速子系统与所述Map任务数据收发子系统中的交互接口模块相连;
所述Reduce任务数据收发子系统中的数据读取模块、数据发送模块与所述PCIe端相连,所述Reduce任务加速子系统与所述Reduce任务数据收发子系统中的数据读取模块相连,所述Reduce任务数据收发子系统中的数据发送模块与所述Reduce任务加速子系统相连;所述Reduce任务数据收发子系统中的交互接口模块与PCIe端相连,所述Reduce任务加速子系统与所述Reduce任务数据收发子系统中的交互接口模块相连。
3.如权利要求2所述的基于MapReduce的K-means聚类算法FPGA加速系统,其特征在于,
所述Map任务数据收发子系统中的交互接口模块和所述Reduce任务数据收发子系统中的交互接口模块包含多个配置寄存器和多个状态寄存器,通过寄存器地址与上层PCIe端完成信息交互;所述多个配置寄存器接收来自上层PCIe端的配置数据和启动信号,所述多个状态寄存器存储所述加速系统的工作状态供所述上层PCIe端查询;
所述Map任务数据收发子系统中的数据读取模块和所述Reduce任务数据收发子系统中的数据读取模块包含第一命令队列、长度队列和第一数据队列;所述第一命令队列接收来自所述上层PCIe端的待加速数据读命令,所述长度队列保存所述待加速数据的长度信息,所述待加速数据送入所述第一数据队列缓存,所述Map任务数据收发子系统中数据读取模块的所述待加速数据最终发送给所述Map任务加速子系统,所述Reduce任务数据收发子系统中数据读取模块的所述待加速数据最终发送给所述Reduce任务加速子系统;
所述Map任务数据收发子系统中的数据发送模块和所述Reduce任务数据收发子系统中的数据发送模块包含第二命令队列和第二数据队列,当需要通过PCIe端向上层发送加速计算后的结果数据时,所述第二数据队列事先缓存加速结果数据,所述第二命令队列在所述第二数据队列中有数据时接收发送给所述PCIe端的结果数据写命令,完成所述第二数据队列中的所述加速结果数据的发送。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610308843.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:分布式容器管理方法及系统
- 下一篇:消息发送方法及装置、扩展方法、终端