[发明专利]一种基于终端设备和边缘服务器协同进行视频流处理的方法

说明书

本发明公开一种基于终端设备和边缘服务器协同进行视频流处理的方法，所述的视频流处理划分为数据预处理、深度神经网络推理和结果处理三个阶段，终端设备的计算任务分为数据预处理TP、数据传输TD_t、神经网络推理TI、结果接收TR_r和结果处理TF，边缘服务器的计算任务分为数据接收ED_r、深度神经网络推理EI，结果传输ER_t，所述的视频预处理采用流水化方式进行任务调度，终端设备按照任务优先级，根据空闲状态执行计算任务，边缘服务器也根据任务优先级的顺序执行；其中，终端设备承担任务的优先级从高到低排序为：TR_rTD_tTFTP＝TI；边缘服务器承担任务的优先级从高到低排序为：ED_rEIER_t。该方法在发挥边缘服务器强大算力的同时，提高了计算效率。

技术领域

本发明涉及边缘计算和深度学习领域，具体涉及一种基于终端设备和边缘服务器协同进行视频流处理的方法。

背景技术

随着深度学习理论的发展，深度神经网络在众多领域得到了广泛的应用，特别是在图像处理领域，解决目标识别，图像分割等问题时可以获得不错的效果。但是深度神经网络通常计算量巨大，在进行视频流的连续处理时，普通终端设备往往面临计算能力不足的问题。云计算为解决算力不足的问题提供了一种思路，可以给云服务器配备高性能的CPU和GPU以提供强大的计算能力。但是云计算模式下，云服务器距离终端设备比较远，用于视频流处理的话会带来较高的数据传输开销，特别是在云服务器连接大量终端设备的情况下，数据传输会成为整个处理过程的瓶颈。

边缘计算针对云计算中终端距离所带来的数据传输开销，提出在靠近终端设备的地方设立边缘服务器，为终端设备提供强大的算力支撑。边缘计算的好处一方面在于边缘服务器靠近终端，缩短了数据传输距离，降低了传输开销；另一方面，边缘计算通过在一个云服务器服务范围内设立多个边缘服务器，缓解了云服务器的负载压力。但是，在边缘计算模式下，当大量终端设备连接边缘服务器时，边缘服务器也存在高通信负载和高计算负载的问题。

发明内容

针对现有技术的不足，本发明提供一种基于终端设备和边缘服务器协同进行视频流处理的方法，在发挥边缘服务器强大计算能力的同时，利用终端设备计算能力来降低数据传输量，优化数据传输开销，最终达到在单位时间内比终端计算和云计算模式处理更多视频帧的效果，提高计算效率。

本发明的目的通过如下技术方案来实现：

一种基于终端设备和边缘服务器协同进行视频流处理的方法，其特征在于，所述的视频流处理划分为数据预处理、深度神经网络推理和结果处理三个阶段，所述的终端设备的计算任务分为数据预处理TP、数据传输TD_t、神经网络推理TI、结果接收TR_r和结果处理TF，所述的边缘服务器的计算任务分为数据接收ED_r、深度神经网络推理EI，结果传输ER_t，所述的视频预处理采用流水化方式进行任务调度，终端设备按照任务优先级，根据空闲状态执行计算任务，边缘服务器也根据任务优先级的顺序执行；

其中，

终端设备承担任务的优先级从高到低排序为：TR_rTD_tTFTP＝TI；

边缘服务器承担任务的优先级从高到低排序为：ED_rEIER_t。

进一步地，终端设备在进行数据预处理过程中为降低待传输数据量对数据进行压缩的压缩比大于1。

进一步地，所述的采用流水化方式进行任务调度的具体步骤如下：

S1：终端设备首先对第1帧数据进行预处理，并将预处理后的第1帧数据发送给边缘服务器处理，边缘服务器接收预处理后的第1帧数据，所述的发送和接收同步进行；