[发明专利]一种基于分层架构的异构计算系统

说明书

本发明提供一种基于分层架构的异构计算系统。该系统包括物理层、计算层、算法层、逻辑层和应用层；所述物理层由异构硬件设备及相应的设备驱动组成，用于为所述计算层、所述算法层、所述逻辑层和所述应用层提供计算资源；所述计算层位于所述物理层之上，用于为所述算法层提供调用所述物理层中各异构硬件设备的计算引擎；所述算法层位于所述计算层之上，用于为所述逻辑层和所述应用层提供算法服务，所述算法服务是基于训练好的算法模型进行功能封装得到的；所述逻辑层位于所述算法层之上，用于为所述应用层提供业务逻辑处理服务；所述应用层位于所述逻辑层之上，用于为用户平台提供业务接口，用于将所述逻辑层生成的业务结果推送到消息中间件。

技术领域

本发明涉及异构计算技术领域，尤其涉及一种基于分层架构的异构计算系统。

背景技术

异构计算(Heterogeneous Computing)是从80年代中期产生，主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式。异构计算已经无处不在，从超算系统到桌面到云到终端，都包含不同类型指令集和体系架构的计算单元，由于它能经济有效地获取高性能计算能力、可扩展性好、计算资源利用率高、发展潜力巨大，已成为并行/分布计算领域中的研究热点之一。

随着人工智能的发展，越来越多的行业都采用了异构计算系统，例如智能交通、公共安全、智慧城市等。在异构计算系统中，经常需要采用不同厂家的异构计算设备，而且需要使用多样性的算法模型解决复杂的业务场景中的问题，甚至需要跨平台计算。

因此，设计一种能够快速适配各种异构计算设备，能够对各种业务场景快速反应，并且能够灵活扩展修改底层的异构计算设备和上层的业务的异构计算系统具有重大的意义。

发明内容

针对上述问题，本发明提供了一种基于分层架构的异构计算系统，采用分层架构，解耦各功能层，并且使用标准流程快速适配各厂家的异构计算设备，充分发挥各计算设备的算力，解决人工智能系统普遍存在的异构计算设备适配性差、开发周期长、业务需求响应慢、跨平台难度大等问题。

本发明提供了一种基于分层架构的异构计算系统，所述系统包括物理层、计算层、算法层、逻辑层和应用层；

所述物理层由异构硬件设备及相应的设备驱动组成，用于为所述计算层、所述算法层、所述逻辑层和所述应用层提供计算资源；

所述计算层位于所述物理层之上，用于为所述算法层提供调用所述物理层中各异构硬件设备的计算引擎；

所述算法层位于所述计算层之上，用于为所述逻辑层和所述应用层提供算法服务，所述算法服务是基于训练好的算法模型进行功能封装得到的；

所述逻辑层位于所述算法层之上，用于为所述应用层提供业务逻辑处理服务；

所述应用层位于所述逻辑层之上，用于为用户平台提供业务接口，用于将所述逻辑层生成的业务结果推送到消息中间件。

进一步地，所述物理层包括GPU、MLU、TPU中的一种或多种。

进一步地，所述计算层采用线程池模式调用所述物理层中的计算资源，并采用多通道模式从多个任务队列分别获取计算子任务组合成计算任务进行处理。

进一步地，所述算法层还包括数据前处理服务和数据后处理服务；

所述数据前处理服务，用于在待识别数据输入所述计算层之前对待识别数据进行预处理；

所述数据后处理服务，用于对所述计算层返回的数据进行处理。

进一步地，所述逻辑层包括一个或多个业务逻辑处理模块，所述业务逻辑处理模块采用三级封装，分别为会话级、任务级以及工作级，这里，一个会话级包含多个任务级，一个任务级包含多个工作级。