[发明专利]基于视觉感知模型的在线视频教学编码方法及装置

说明书

本申请涉及计算机视觉技术领域，特别涉及一种基于视觉感知模型的在线视频教学编码方法及装置，其中，方法包括：采集多个用户观看视频时的眼动信息；基于眼动信息生成由多帧视频多个注视点构成的在线视频教学场景的注视点数据库；利用注视点数据库训练基于在线视频教学场景的视觉感知模型，并在嵌入编码器后，剔除目标视频中与教学内容无关的冗余信息的同时，为人眼重点关注的目标区域分配到目标码率。由此，解决了相关技术中H.265/H.266编码器对编解码器的性能要求较高，降低了编码方法的适用性，视频编码性能较低，降低了用户的使用体验，无法满足用户的使用需求的问题。

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种基于视觉感知模型的在线视频教学编码方法。

背景技术

随着互联网技术的发展，在线视频教学作为一种新型教学方式走入了每家每户，并且用户规模不断扩大，互联网激增的海量多媒体数据给视频的传输和存储带来了巨大的挑战。

相关技术中，由于H.264编码器的压缩效率较低，从而通过压缩效率足够的H.265/H.266编码器来保证图像质量，以减少大规模在线视频通信存在带宽受限的问题。

然而，相关技术中H.265/H.266编码器对编解码器的性能要求较高，降低了编码方法的适用性，视频编码性能较低，降低了用户的使用体验，无法满足用户的使用需求，亟待解决。

发明内容

本申请提供一种基于视觉感知模型的在线视频教学编码方法及装置，以解决相关技术中H.265/H.266编码器对编解码器的性能要求较高，降低了编码方法的适用性，视频编码性能较低，降低了用户的使用体验，无法满足用户的使用需求的问题。

本申请第一方面实施例提供一种基于视觉感知模型的在线视频教学编码方法，包括以下步骤：采集多个用户观看视频时的眼动信息；基于所述眼动信息生成由多帧视频多个注视点构成的在线视频教学场景的注视点数据库；利用所述注视点数据库训练基于在线视频教学场景的视觉感知模型，并在嵌入编码器后，剔除目标视频中与教学内容无关的冗余信息的同时，为人眼重点关注的目标区域分配到目标码率。

可选地，在本申请的一个实施例中，所述利用所述注视点数据库训练基于在线视频教学场景的视觉感知模型，包括：基于所述视觉感知模型的网络逐帧输出显著性图，其中，每一帧图像的不同区域的权值不同。

可选地，在本申请的一个实施例中，所述每一帧图像的不同区域的权值由区域约受关注度决定。

可选地，在本申请的一个实施例中，所述目标区域包括讲板中的文字内容、讲师自身和所述讲师的手指向的区域。

本申请第二方面实施例提供一种基于视觉感知模型的在线视频教学编码装置，包括：采集模块，用于采集多个用户观看视频时的眼动信息；生成模块，用于基于所述眼动信息生成由多帧视频多个注视点构成的在线视频教学场景的注视点数据库；分配模块，用于利用所述注视点数据库训练基于在线视频教学场景的视觉感知模型，并在嵌入编码器后，剔除目标视频中与教学内容无关的冗余信息的同时，为人眼重点关注的目标区域分配到目标码率。

可选地，在本申请的一个实施例中，所述分配模块包括：输出单元，用于基于所述视觉感知模型的网络逐帧输出显著性图，其中，每一帧图像的不同区域的权值不同。

可选地，在本申请的一个实施例中，所述每一帧图像的不同区域的权值由区域约受关注度决定。

可选地，在本申请的一个实施例中，所述目标区域包括讲板中的文字内容、讲师自身和所述讲师的手指向的区域。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于视觉感知模型的在线视频教学编码方法。