[发明专利]一种基于DDS实现深度学习框架与应用程序互操作的方法

说明书

本发明涉及一种基于DDS实现深度学习框架与应用程序互操作的方法，其中，深度学习框架之间或者深度学习框架与应用之间传输训练数据、权重数据以及各种神经网络拓扑结构时，使用接口语言IDL定义训练迭代过程中的数据以及IDL数据结构，使用接口定义语言IDL转换工具转换成使用语言的函数接口，接着把函数接口集成至调用DDS中间件的应用程序或者深度学习框架，应用程序或者深度学习框架调用产生的数据结构的订阅函数与发布函数接口，进行训练迭代过程中的数据以及数据交互及可视化处理。

技术领域

本发明涉及分布式通信技术领域，尤其涉及一种基于DDS实现深度学习框架与应用程序互操作的方法。

背景技术

人工智能是一种引发诸多领域产生颠覆性变革的前沿技术，当前以机器学习，特别是深度学习为核心，在视觉、语音、自然语言等应用领域迅速发展。人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具，这使得人工智能开发依赖的环境安装、部署、测试以及不断迭代改进准确性和性能调优的工作变得非常繁琐耗时也非常复杂。为了简化、加速和优化这个过程，学界和业界都作了很多的努力，开发并完善了多个基础的平台和通用工具，也被称会机器学习框架或深度学习框架。深度学习软件框架及相关工具集是人工智能应用落地的重要抓手，是人工智能相关服务及产品的核心。有了这些基础的平台和工具，我们就可以避免重复发明轮子，而专注于技术研究和产品创新。基于深度学习的人工智能算法主要依托计算机技术体系架构实现，深度学习算法通过封装软件框架的方式供开发者使用。软件框架是整个人工智能技术体系的核心，实现对人工智能算法的封装，数据的调用以及计算资源的使用，起到承上启下的重要作用。

人工智能基础性算法理论研究已经较为成熟，各大厂商纷纷发力建设算法模型工具库，并将其封装为软件框架供开发者使用。这些框架有早期从学术界走出的Caffe、Torch和Theano，到现在产业界由Google领导的TensorFlow，Amazon选择押注的MXNet，Facebook倾力打造的PyTorch，Microsoft内部开源的CNTK等等，国内的如百度的Paddle Paddle、腾讯的ncnn、清华大学的计图(Jittor)、旷视的天元(MegEngine)和华为的MindSpore等等。

数据分发服务(Data Distribution Service，DDS)是对象管理组织(ObjectManagement Group，OMG)继推出CORBA规范后颁布的实现订阅/发布通信模式、满足实时性要求的软件设计标准和规范，该规范对分布式实时系统中数据发布、传递和接收的接口和行为进行了标准化。DDS纯粹以数据为中心来进行数据分发，并将资源状况、对资源的期待程度、网络状况等都用服务质量QoS(Quality of Service)参数来描述，大大增强了通信的实时性和灵活性，简化了分布式系统中数据的有效发布，为实时环境下以数据为中心的分布式应用提供高效、有用的通信服务。DDS可以满足复杂系统的实时和高速数据交换要求，实现分布式网络环境下的动态组网和数据的按需多点分发，具有松散耦合、处理复杂数据流能力强、分发效率高、容错性好以及动态可配置等特点。