[发明专利]一种推理服务网络化的方法及装置

说明书

在现有的人工智能领域，推理用的推理装置通常是通过PCIe接口与计算机装置进行连接的。采用这种方式，计算机装置所连接的推理装置的数目会受到总线编号范围的限制，且推理装置的计算能力难以实现跨计算机装置的实时调度。本申请提供一种将推理服务网络化的方法和装置，将用于推理的推理装置通过网络与计算机装置进行连接，从而突破计算机装置的总线编号范围对可连接的推理装置数目的限制。且由于推理装置都通过网络连接起来，可以灵活地对推理装置提供的计算能力进行调度。

技术领域

本发明涉及计算领域，特别涉及一种基于网络的推理服务的方法和装置。

背景技术

人工智能(artificial intelligence,AI)，是指人制造出来的机器表现出来的智能，特别是通过普通计算机程序来呈现人类智能的技术。当前人工智能技术，通常包括训练和推理两个阶段。在训练阶段，通常需要通过大量的数据输入，或采取增强学习等非监督学习方法，训练处一个复杂的深度神经网络模型。推理的含义主要是利用训练好的网络模型，快速高效地从新的数据中推断得出各种结论。例如，视频监控设备可以运用人工智能技术，通过后台的深度神经网络模型，判断一张抓拍的人脸是否属于黑名单上的人员。推理环节计算量虽然相对于训练阶段会少很多，但是考虑到未来海量的数据请求以及当前深度神经网络模型大且运算复杂，推理过程仍然会是计算密集型和存储密集型。如果将推理阶段部署在资源有限的终端用户设备上，对终端设备的计算能力的压力较大。另外，大量高并发的推理需求会在一些应用场景上体现，因此，能够提供大量计算能力的云端推理场景在人工智能应用中需求将会更加明显，建立推理服务集群对于相关企业将会越发重要。

当前，用于人工智能的推理阶段的设备主要有图形处理器(Graphics ProcessingUnit，GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)以及网络处理器(Neural-networkProcessing Unit，NPU)等。推理阶段所用到的硬件的性能好坏，既关系到用户体验，也关系到企业的服务成本。

发明内容

在现有的做法中，用于推理的处理器，例如GPU，是通过外围组件快速互联(peripheral component interconnect express，PCIe)接口与计算机装置连接的。这会导致处理器部署数量受计算机装置的PCIe扩展槽数量限制，并且处理器提供的计算资源无法根据实际需求跨计算机装置进行实时调度，调度灵活性差。为了解决上述问题，本申请提供一种基于网络的推理服务化方法，使处理器或者处理器所在模块具有网络能力，并将处理器所在推理装置作为网络设备通过交换机与计算机装置连接。

第一方面，本申请提供一种AI推理系统，该推理系统包括计算机装置和至少两个推理装置，该计算机装置通过以太网络与至少两个推理装置相连，其中，该计算机装置用于：接收客户端发送的推理任务；通过以太网络向至少两个推理装置中的第一推理装置发送推理任务，该推理任务携带待处理数据；第一推理装置用于：接收推理任务，执行该推理任务并得到推理任务的结果，将推理任务的结果通过以太网络发送给计算机装置，其中，该推理装置是印刷电路板(Print Circuit Board，PCB)。

通过上述做法，可以将推理装置通过以太网络与计算机装置进行连接，从而避免了每个计算机装置所能连接的推理装置的数量受到计算机装置的PCIe扩展槽的限制，并可以更容易地将推理装置提供的计算资源进行跨节点调度，从而可以提高整个推理系统的规模和灵活性。同时，采用PCB作为推理装置，可以极大的压缩推理装置所占用的体积，有利于将大量的推理装置集中起来构成阵列。