[发明专利]面向Android的深度学习模型统一部署系统、方法、设备及介质

说明书

本公开涉及深度学习技术领域，具体提供了面向Android的深度学习模型统一部署系统、方法、介质及设备，其中，所述系统包括：监控统计模块，用于完成对整个系统执行的监控统计以及日志读写；抽象适配模块，用于提供深度学习推断过程所需要的解释器、模型和/或数据源；服务模块，用于对Android应用程序提供统一的编程接口。本公开设计并实现了一个移动深度学习任务的统一部署框架，集成了5种主流的移动深度学习框架，为深度学习推断任务设立软件抽象，屏蔽底层框架的接口异构性，对上层应用程序提供统一编程接口。该框架可用于移动应用开发者快速实现跨框架、跨硬件后端的深度学习任务部署，也可用于框架开发厂商构建模型准确率基准测试、框架性能基准测试等。

技术领域

本公开涉及深度学习技术领域，更为具体来说，本公开涉及面向Android的深度学习模型统一部署系统、方法、设备及介质。

背景技术

随着移动设备的计算能力显著提升和传感器技术的广泛应用，在移动端直接部署运行深度学习任务的场景也大量涌现。许多深度学习框架生产厂商也推出了针对移动计算优化的深度学习框架以及模型迁移工具，以供应用程序开发者使用。

然而，由于种种限制，移动深度学习任务部署并不能像框架生产厂商所描述的那样方便。这些框架通常存在部署操作API繁复、缺乏自动资源管理、运行库整合层级低等问题。同时，在诸多场景下出现的，要求同时于多框架下部署深度学习任务的情形，进一步提高了开发者部署深度学习任务的难度。

发明内容

为解决现有技术存在部署操作API繁复、缺乏自动资源管理、运行库整合层级低的技术问题。

为实现上述技术目的，本公开提供了一种面向Android的深度学习模型统一部署系统，包括：

监控统计模块，用于完成对整个系统执行的监控统计以及日志读写；

抽象适配模块，用于提供深度学习推断过程所需要的解释器、模型和/或数据源；

服务模块，用于对Android应用程序提供统一的编程接口。

进一步，所述抽象适配模块具体包括：

第一子模块，用于为不同的底层深度学习框架适配一个对应的具体解释器单例；

第二子模块，用于为不同的模型文件，创建模型实例，并初始化所述模型实例的相关元数据；

第三子模块，用于为不同类型的数据输入，适配一个具体的数据源实例。

进一步，所述服务模块具体用于：

调用所述抽象适配模块所适配的底层解释器完成任务的执行，同时调用所述监控统计模块保存相应的统计数据。

为实现上述技术目的，本公开还能够提供一种面向Android的深度学习模型统一部署方法，应用于上述的面向Android的深度学习模型统一部署系统，包括：

初始化统一部署系统；

构建推断任务并执行所述推断任务得到执行结果；

获取任务执行统计数据；

关闭所述统一部署系统。

进一步，所述初始化统一部署系统具体包括：

加载数据源和/或模型，初始化解释器上下文。

进一步，所述构建推断任务并执行所述推断任务得到执行结果具体包括：

创建一个推断任务，指定模型、数据源和/或解释器并指定任务开始前和结束后的操作；

加载单次输入的数据，调用解释器解释模型，计算得出推断任务的执行结果；

获得推断任务的所述执行结果。