[发明专利]基于FFmpeg和EMIF驱动的音视频数据传输方法

说明书

本发明提供了一种基于FFmpeg和EMIF驱动的音视频数据传输方法，用于解决现有技术存在的可移植性差和不利于二次开发的技术问题，实现步骤为：对音频模拟信号和图像模拟信号进行模数转换；在DSP上对音频数字信号和图像数字信号进行压缩；在DSP上对音频压缩数据和图像压缩数据进行封装；编写外部存储器接口EMIF的用户空间驱动；基于FFmpeg和EMIF用户空间驱动，将封装后的音视频数据传输至FPGA。由于FFmpeg支持多种操作系统，本发明的可移植性强，FFmpeg提供了丰富的音视频处理函数接口，有利于二次开发，并且通过编写EMIF用户空间驱动，省掉了EMIF内核驱动需要把驱动加载到内核中的步骤。

技术领域

本发明属于嵌入式音视频技术领域，涉及一种音视频数据传输方法，具体涉及一种基于FFmpeg和EMIF用户空间驱动并通过嵌入式音视频系统实现的音视频数据传输方法，可用于视频监控、视频会议等涉及视频的领域。

背景技术

随着嵌入式技术的发展，尤其是DSP和FPGA这类数据运算芯片可以对大量的数据进行快速、高效的运算，音视频技术在嵌入式系统上的应用越来越成熟，DSP和FPGA之间的音视频数据传输成为热点问题。目前有多种DSP和FPGA之间音视频传输的方法，其中包括通过网络协议进行传输和通过SPI或EMIF接口进行传输。而DSP和FPGA之间通过接口进行数据传输比较方便，外部存储器接口EMIF是DSP器件提供的一种数据传输接口，可以实现DSP和FPGA之间的大量数据传输，广泛应用于DSP和FPGA之间传输数据。DSP和FPGA之间的音视频数据传输是在嵌入式音视频系统实现，嵌入式音视频系统包括了摄像头、麦克风、视频模数转换模块、音频模数转换模块、数字信号处理器DSP和可编程门阵列FPGA。其中摄像头和麦克风负责采集图像模拟信号和音频模拟信号，视频模数转换模块和音频模数转换模块将其转换为图像数字信号和音频数字信号。在DSP上对图像数字信号和音频数字信号进行压缩和封装，再将DSP上封装后的音视频数据通过EMIF驱动传输给FPGA。

目前，DSP和FPGA主要通过EMIF内核驱动来传输音视频数据，但仍存在很多缺点，例如杨峰于2017年发表在《电子科技》的文章“基于达芬奇技术的音视频压缩传输系统”中，公开了一种通过EMIF内核驱动在DSP和FPGA之间传输音视频数据的方法，但该方法中的音视频数据传输用简单的读写函数通过EMIF内核驱动传输来实现，导致了音视频数据传输的方法可移植性差，而且不利于二次开发，且EMIF内核驱动，由于在系统启动时要将驱动加载到内核中，增加了使用步骤。

FFmpeg是目前应用最为广泛的一种音视频框架。FFmpeg为开发者提供了丰富的音视频处理的调用接口，便于开发人员开发音视频应用。FFmpeg提供了很多音视频相关的功能，例如编解码、封装和解封装、转换格式、加滤镜等。FFmpeg可移植性强，可以在Windows、Linux、和嵌入式操作系统上编译及运行。而且由于FFmpeg提供了丰富的音视频处理功能，也便于开发人员进行二次开发。

发明内容

本发明的目的在于克服上述技术存在的缺陷，提供了一种基于FFmpeg和EMIF驱动的音视频数据传输方法，用于解决现有技术存在的可移植性差和不利于二次开发的技术问题。

为实现上述目的，本发明的采取的技术方案包括如下步骤：

(1)对音频模拟信号和图像模拟信号进行模数转换：

通过视频模数转换模块对摄像头采集的图像模拟信号进行模数转换，得到图像数字信号，通过音频模数转换模块对麦克风采集的音频模拟信号进行模数转换，得到音频数字信号；

(2)在DSP上对音频数字信号和图像数字信号进行压缩：

在DSP上对音频数字信号和图像数字信号进行压缩，得到音频压缩数据和图像压缩数据；

(3)在DSP上对音频压缩数据和图像压缩数据进行封装：