[发明专利]一种异构边缘智能微服务器及其搭建方法

说明书

本发明提出一种异构边缘智能微服务器，包括：多个同构或异构的计算单元，各计算单元具有独立的操作系统，并安装有分布式资源管理软件，所有该计算单元接入通用互连总线进行通信连接；异构子计算模块，每个该异构子计算模块包括至少一个该计算单元，该异构子计算模块独立承担或与其他异构子计算模块协作承担边缘计算任务；上级计算模块，包括多个该异构子计算模块。还提出一种异构边缘智能微服务器的搭建方法。

技术领域

本发明属于分布式计算技术领域，具体涉及一种针对边缘智能计算场景的智能微服务器系统及其搭建方法。

背景技术

万物互联时代下涌现的海量物联网设备和移动终端，使得智能应用场景对算力的需求呈爆发式增长。传统的集中式云计算模式，需要将海量数据传输到数据中心进行集中式处理，已经无法适应万物互联智能应用的实时性处理需求，从而在学术界和工业界催生了以边缘计算为代表的一类将计算任务向数据源靠近的新型计算模式。目前工业界推出的边缘计算系统，通常采用单机紧耦合体系架构，即宏机(Monolithic Server)架构，通过提升单节点的计算能力，来满足多样化的边缘智能计算负载性能需求。而随着万物互联应用场景的快速更新迭代，使用单机紧耦合架构构建的边缘计算系统目前存在两个问题：(1)单机紧耦合架构的边缘计算系统具有相对同构的计算单元，适配的计算负载类型比较固定，升级更换应用程序的同时，常常需要升级更换对应的硬件系统，无法适应边缘智能计算负载的异构的计算特征以及算力规模需求；(2)单机紧耦合架构的边缘计算系统算力的提升依赖于硬件的更新，万物互联应用对于算力需求的快速增长趋势加速了边缘计算系统的更新和淘汰速度，应用和计算系统的持续适配增加了万物互联智能应用的研发和维护成本。目前学术界和工业界均亟待使用新的体系结构设计方法来构建边缘计算系统，以解决上述的两个问题。

目前工业界推出若干面向边缘边缘计算场景的专用计算硬件，例如图形处理器(Graphics Processing Unit，GPU)，现场可编程门阵列(Field Programmable GateArray，FPGA)和神经网络处理器(Neural Network Processing Unit，NPU)等，每种专用计算硬件通常适合处理具备某一类计算特征的计算负载。为整合现有的边缘计算专用硬件，满足各类边缘计算负载的计算特征和算力需求，同时降低万物互联智能应用的研发和维护成本。

发明内容

为了应对万物互联应用场景的碎片花和程序开发部署的快速迭代，本发明提出一种高度可重构的体系架构方法，设计兼容多种异构加速器的边缘机内互联总线，构建边缘智能服务器，加速处理多样化的边缘智能负载。具体来说，本发明的异构边缘智能微服务器包括：多个同构或异构的计算单元，各计算单元具有独立的操作系统，并安装有分布式资源管理软件，所有该计算单元接入通用互连总线进行通信连接；异构子计算模块，每个该异构子计算模块包括至少一个该计算单元，该异构子计算模块独立承担或与其他异构子计算模块协作承担边缘计算任务；上级计算模块，包括多个该异构子计算模块。

本发明所述的异构边缘智能微服务器，各计算单元安装有远程直接内存访问协议，以采用远程直接内存访问方式进行计算单元之间的通信连接。

本发明所述的异构边缘智能微服务器，网络数据被该计算单元的网卡设备接收后，由该计算单元的用户态网络驱动直接获取，并写入该计算单元的共享内存；并由该计算单元的异构硬件驱动从该共享内存直接调用该网络数据，提供给该计算单元的处理器使用。

本发明所述的异构边缘智能微服务器，其中该计算单元的处理器为CPU，或CPU和主处理器，该主处理器为GPU、FPGA和NPU中的一种。

本发明所述的异构边缘智能微服务器，当一异构子计算模块接收边缘计算任务后，由该异构子计算模块独立执行该边缘计算任务，或由该异构子计算模块将该边缘计算任务拆分为第一算子任务和第二算子任务，该异构子计算模块执行该第一算子任务以获取该第一算子任务的任务结果，将该第二算子任务迁移至其他异构子计算模块执行以获取该第二算子任务的任务结果，该异构子计算模块汇总所有任务结果以获取该边缘计算任务的最终任务结果。