[发明专利]一种面向分布式存储结构的处理方法

说明书

本发明公开了一种面向分布式存储结构的处理方法，采用面向密集计算的5层并行编译框架，包括：用于生成剔除冗余的多原子应用并行区域的密集计算应用编译层、以数据并行模型为基础的原子应用层、用于将所述原子应用层的应用指令集翻译成基于多核运行时系统的SPMD并行代码的数据并行编译层、用于完成任务调度和数据流调度的并行运行时层以及用于支撑所述并行运行时层的操作系统层和本地编译层。基于本发明处理方法的模型，可以研发嵌入式多核版MATLAB，实现可见即可得的编程效果，为新一代巡航导弹、防空导弹、智能无人机等智能武器快速研发和部署矩阵运算、模式识别、机器学习等复杂算法，提供简单而高效的多核编程平台。

技术领域

本发明属于多核嵌入式存储结构设计技术领域，具体涉及一种面向分布式存储结构的处理方法。

背景技术

随着数字信号处理技术已经广泛应用于通信、图像识别、雷达、电子、医学成像等领域，各领域对数字信号处理器(DSP，Digital Signal Processor)的性能需求也激增。而传统的单核DSP计算性能在现有工艺条件下已接近瓶颈，故多核DSP将成为未来的一个重要发展方向。但多核DSP编程环境复杂，软件人员需要考虑各核任务、资源、数据的分配以及核间的协同工作等，导致编程周期长，负担重。同时，不恰当的多核协同工作方案会导致无法充分利用多核的硬件加速优势，甚至出现多核的性能还不如单核的情况。所以急需一套适用于多核DSP的应用编译框架，解放软件编程人员，自动将串行的单核代码翻译成并行的多核代码。

多核处理器C语言自动化是一个非常经典的研究课题，传统的自动化并行编译器，希望通过从传统单指令流的串行程序中提取粗粒度的并行来实现在多核处理器的并行执行，经过几十年的研究，目前也无法获得大的突破。

工作在系统应用层的OpenMP和MPI编程模型近年来在任务多核化方面已取得重要进展，是当前比较流行的两种并行编程模型。OpenMP通过对现有的串行C语言增加一组编译制导语句和库函数，由程序员指明线程间数据的私有和共享属性，采用fork-join的模式并行执行；国内清华大学对在开源编译器ORC上，对OpenMP指导语句进行了全局静态分析；中国科技大学实现了针对集群系统的扩展OpenMP。MPI则是通过一组消息库函数来支持不同处理器之间的消息通信，以单程序多数据(Single Program MultiPle Data，SPMD)方式在多个处理器核间并行执行程序，由编程人员对程序进行任务划分和通信交互。

除了OpenMP和MPI之外，还有其他诸多编程模型，总的来看这些并行编程模型都主要基于共享存储模型，共享存储模型因存在多核访存冲突和数据局部性难以利用的不足，导致多核处理器可扩展性差、多核加速比难以提升；此外，现有的编程模型都是面向并行系统的编程模型，要求程序员必须熟悉并行系统结构，所设计的并行算法需要对程序进行精心的任务划分、数据通信和同步设计。因此，程序的性能受制于程序员并行算法的设计和对并行系统的理解，这不仅极大地增加了编程人员、尤其是各个应用领域编程人员的编程负担，而且降低了程序的运行效率，很大程度上影响了并行系统性能的发挥。

此外，涉及诸多矩阵、数组和图像处理的混合运算，在分布式存储模型下，计算核必须将参与计算的数据显性地传递到本地存储区后才能开展运算。计算表达式越复杂，需要传递的数据流种类就越多，这导致数据流传输的控制逻辑非常复杂，自动化调度困难。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种面向分布式存储结构的处理方法，通过充分利用分布式存储结构的数据局部性原理，本发明提高了多核加速比，同时也解决了分布式存储模型下复杂计算表达式引发的数据流传输控制逻辑异常繁琐、自动化调度困难等问题。

本发明采用以下技术方案：