[发明专利]基于YOLO的有损-无损混合腔镜视频实时传输方法

说明书

一种基于YOLO的有损‑无损混合腔镜视频实时传输方法，通过YOLO的自适应识别的方式，对腔镜视频的手术部位以及背景区域进行实时区分，对手术区域进行无损压缩，对背景区域进行适当的有损压缩，可有效降低视频存储容量，实现腔镜视频的实时上传且能有效避免视频播放过程中的延迟、卡顿问题。

技术领域

本发明涉及深度学习视频压缩加速领域,具体涉及一种基于YOLO的有损-无损混合腔镜实时传输方法。

背景技术

视频压缩技术是从图像的像素数据蕴含的相关性，即视频数据中的冗余出发，通过空间冗余、时间冗余、符号冗余、结构冗余、视觉冗余五方面进行视频的压缩。随着计算机技术的高速发展，视频压缩技术也实现了进步，从H.264到H.265/HEVC，极大地提高了数字视频的压缩质量和水平。具体研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。

除了HEVC技术以外，运动估计也是常用的视频编码与压缩技术，在视频传输中得到了广泛的应用。在视频帧与帧之间的编码预测中，由于相邻帧中的物体存在着一定的相关性。因此，可将每一帧的图像分成若干块或像素单位，并定位出每个块或像素单位在相邻帧中的位置，并得出像素单位之间的空间位置的相对变化或相对偏移量，而这个得到相对变化或者偏移量的过程被称为运动估计。

运动的相对偏移量和经过运动匹配后得到的预测误差共同发送到解码端，在解码端按照运动偏移量指明的位置，从已经解码的邻近参考帧图像中找到相应的像素单位，和预测误差相加后就得到了像素单位在当前帧中的位置。运动估计技术可以去除帧间冗余度，使得视频传输的比特数大为降低，因此，运动估计是视频压缩处理系统中的一个重要组成部分，在视频传输中起重要作用。

在远程腔镜手术的场景下，由于无法保证腔镜视频的远程播放端的硬件性能与端网络的速度，因此越小的视频存储量越有利于腔镜视频的实时上传且能有效避免视频播放过程中的延迟、卡顿问题，并且由于远程手术的场景特殊性，数据处理负担过大导致系统识别卡顿和延迟的后果是致命的。

但是，目前的视频压缩标准是可以应用于各个领域的通用标准，缺少针对腔镜医学图像的视频压缩标准，实时腔镜远程手术要求在算力有限的条件下尽量避免降低视频的清晰度来对视频进行压缩，而且腔镜图像在信息量分布上存在不平衡，手术区域的信息量大，边缘区域信息量小，现有方案缺少自适应压缩技术和保持关键区域的画质清晰。

发明内容

为了克服背景技术的不足，本发明提供一种基于YOLO的有损-无损混合腔镜实时传输方法。

本发明所采用的技术方案：一种基于YOLO的有损-无损混合腔镜视频实时传输方法，包括如下步骤：

步骤1、腔镜视频的实时采集与下采样；

步骤2、将腔镜视频分成静止图像文件，将每一帧的静止图像文件输入到预先训练好的YOLO模型中，通过YOLO模型识别将腔镜区域分为手术区域以及背景区域，并输出一个与手术区域对应的手术区域mask掩码图；

步骤3、根据HEVC视频压缩标准将每个腔镜视频拆分成可变大小的像素单位，根据YOLO模型输出的手术区域mask掩码图，将位于手术区域中的像素单位使用低量化参数值进行高质量编码，而位于背景区域的像素单位使用高质量参数值进行低质量编码；

步骤4、将编码后的腔镜视频通过网络传输生成的比特流至远程指导站点，然后根据HEVC视频压缩标准进行解码并查看。

步骤2中，YOLO模型的骨干网络是VGG16,架构包括卷积、池化、全连接和Softmax层，并用注意力机制SE+CBAM对VGG16获得的特征进行加强，以获得包含更多有效信息的特征层。

步骤3中，根据HEVC视频压缩标准将每个腔镜视频拆分成可变大小的像素单位，像素单位的大小范围从16×16像素到64×64像素。