[发明专利]一种数据调用方法、装置、设备及介质

说明书

本申请公开了一种数据调用方法、装置、设备及介质，涉及人工智能领域，包括：对预先获取的模型进行抽象转换，以得到计算图，然后对所述计算图进行图像分割优化，以得到各计算子图；对所述计算子图进行向量化处理，以得到张量表示，确定出张量表示的类型，并根据所述张量表示的类型确定出相应的目标代码；利用所述目标代码对所述张量表示进行处理，以得到底层代码，并将所述底层代码发送至与所述计算子图的类型相对应的编译器，以得到二进制文件，以便服务端对所述二进制文件中的数据进行调用。通过本申请的上述技术方案，能够实现深度学习模型多平台部署，支持其他深度学习处理器，提高数据调用的效率。

技术领域

本发明涉及人工智能领域，特别涉及一种数据调用方法、装置、设备及介质。

背景技术

随着人工智能(AI，Artificial Intelligence)逐渐发展和普及，使用深度学习网络完成各种任务的需求越来越多，如何在实际生产环境中快速、稳定运行训练好的模型成为人工智能应用落地的关键点之一，AI部署的目标是使得训练好的深度学习网络模型在特定硬件平台上顺利运行，并保证模型的高精度、低延迟和稳定性，基于AI部署需求，各大硬件厂商针对自家硬件平台推出了对应的部署工具，比如英特尔的OpenVINO、英伟达的TensorRT等，以便于深度学习模型在英特尔CPU(Central Processing Unit，中央处理器)平台和英伟达GPU(Graphics Processing Unit，图形处理器)平台开展推理任务。TensorRT是现有的一种用于在英伟达图形处理单元上部署深度学习应用程序的框架。TensorRT根据模型网络的定义以及用户设置的优化选项执行优化并构建推理引擎(Inference engine)，然后以序列化格式保存该推理引擎以供后续部署。链接TensorRT库，在对应硬件平台上将序列化文件进行反序列化为一个推理引擎等待输入数据到达，即可完成深度学习模型在特定平台的部署，现有技术仅针对英伟达图形处理单元部署使用，不支持其他深度学习处理器，无法实现深度学习模型多平台部署。此外，TensorRT目前为半开源状态，不利于深度开发。

由上可见，在数据调用的过程中，如何实现深度学习模型多平台部署，支持其他深度学习处理器，提高数据调用的效率是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据调用方法、装置、设备及介质，能够实现深度学习模型多平台部署，支持其他深度学习处理器，提高数据调用的效率。其具体方案如下：

第一方面，本申请公开了一种数据调用方法，包括：

对预先获取的模型进行抽象转换，以得到计算图，然后对所述计算图进行图像分割优化，以得到各计算子图；

对所述计算子图进行向量化处理，以得到张量表示，确定出张量表示的类型，并根据所述张量表示的类型确定出相应的目标代码；

利用所述目标代码对所述张量表示进行处理，以得到底层代码，并将所述底层代码发送至与所述计算子图的类型相对应的编译器，以得到二进制文件，以便服务端对所述二进制文件中的数据进行调用。

可选的，所述对预先获取的模型进行抽象转换，以得到计算图，包括：

利用Python脚本实现的预设前端解释器对预先获取的模型进行抽象转换，以得到计算图；其中，所述计算图中包括算子和数据流信息；

将所述计算图以TorchScript格式保存至本地。

可选的，所述对所述计算图进行图像分割优化，以得到各计算子图，包括：

对所述计算图进行常量折叠操作和算子融合操作，以得到操作后的图像；

对所述操作后的图形进行分割，以得到各计算子图。

可选的，所述对所述计算子图进行向量化处理，以得到张量表示，包括：