[发明专利]数据处理方法、装置、系统及计算机可读存储介质

说明书

本申请公开了一种数据处理方法、装置、系统及计算机可读存储介质。其中，方法包括按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务类型、在所属类型任务中的编号和所属用户的编码信息。基于各计算任务的编码信息进行任务划分处理，得到符合预设编码规则的每类计算任务的用户任务集合，基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和FPGA集群。根据预设编码规则解析各计算任务所属用户，并将相应的计算结果发送至用户端，从而在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法、装置、系统及计算机可读存储介质。

背景技术

随着5G时代的到来，智能设备飞速发展，数据计算需求日益增长。而摩尔定律逐渐达到瓶颈，以CPU(Central Processing Unit，中央处理器)为代表的x86架构及数据中心在计算性能和能效方面逐渐无法适应满足日益庞大和多样化的数据处理需求。相较于传统的x86架构，FPGA(现场可编程门阵列，Field-Programmable Gate Array)具有高性能和低功耗等优点。与CPU相比，FPGA可以提高许多计算密集型任务的性能，如矩阵计算、加密和信号处理等。与GPU相比，FPGA的计算成本和能耗比更低。

为降低云数据中心的计算压力，相关技术以安插FPGA加速器的服务器开始提供边缘服务能力，通过FPGA加速器与服务器绑定的方式来实现对现有数据中心的异构加速，此类方法往往采用一机双卡或一机四卡等服务器与FPGA加速器紧耦合的方式来实现相应的服务。此类方法虽然可以实现发挥FPGA对数据中心的计算迁移能力，然而这种FPGA加速器与服务器耦合服务方式受限于服务器x86架构的计算力，导致FPGA加速器的算力无法得到充分发挥，服务器对FPGA的管理能力也并未得到充分体现。相关技术还通过网络连接的方式将服务器和单独供电的盘柜中的众多FPGA加速器相连接，充分利用了FPGA加速器的网络通信能力，通过服务器来实现对加速器的管理。此类方法尽管实现了服务器与FPGA加速器的解耦，充分利用了FPGA加速器和服务器的计算能力。然而对于FPGA加速器的负载运行情况等却存在无法有效衡量的问题，导致FPGA加速器的运算情况无法得到有效感知，对于每个FPGA加速器的资源调用和负载情况存在无法有效衡量的问题，导致存在部分FPGA加速器空载，而部分FPGA加速器一直处于忙碌状态的情况。因此在分配加速器的使用时，主要通过租用的方式将集群中数量有限的几个FPGA加速器分配给用户作为二次开发使用，导致FPGA加速器的集群计算优势无法得以体现。

综上可知，对于FPGA加速器安插在服务器上提供异构计算的方式，虽然可以发挥部分FPGA加速器的异构计算能力，但是受限于FPGA可以安插的加速器数目，导致相应的计算量实际上无法承担过多。另外一方面，由于FPGA加速器与服务器采用紧耦合的方式来提供服务，因此当服务器存在故障时，FPGA加速器存在无法继续进行计算的风险；而另外一种方法是利用FPGA加速卡的网络通信能力，服务器充当FPGA加速器集群管理角色，实现对FPGA加速器集群的管理。然而，现有的技术方案都是将FPGA加速器集群中的加速器租借给部分开发商使用，此类方法导致FPGA加速器集群的异构计算能力无法得以体现。并且现有的技术方案尚未形成对加速器中运行状况的感知，导致集群中的FPGA加速器存在无法有效使用的问题。

鉴于此，如何克服现有技术弊端，在确保减轻云端数据中心计算压力的同时可充分发挥FPGA加速器的低能耗和并行计算优势，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种数据处理方法、装置、系统及计算机可读存储介质，在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种数据处理方法，包括：