[发明专利]基于视觉感知模型的在线视频教学编码方法及装置

权利要求书

1.一种基于视觉感知模型的在线视频教学编码方法，其特征在于，包括以下步骤：

采集多个用户观看视频时的眼动信息；

基于所述眼动信息生成由多帧视频多个注视点构成的在线视频教学场景的注视点数据库；以及

利用所述注视点数据库训练基于在线视频教学场景的视觉感知模型，并在嵌入编码器后，剔除目标视频中与教学内容无关的冗余信息的同时，为人眼重点关注的目标区域分配到目标码率。

2.根据权利要求1所述的方法，其特征在于，所述利用所述注视点数据库训练基于在线视频教学场景的视觉感知模型，包括：

基于所述视觉感知模型的网络逐帧输出显著性图，其中，每一帧图像的不同区域的权值不同。

3.根据权利要求2所述的方法，其特征在于，所述每一帧图像的不同区域的权值由区域约受关注度决定。

4.根据权利要求1所述的方法，其特征在于，所述目标区域包括讲板中的文字内容、讲师自身和所述讲师的手指向的区域。

5.一种基于视觉感知模型的在线视频教学编码装置，其特征在于，包括：

采集模块，用于采集多个用户观看视频时的眼动信息；

生成模块，用于基于所述眼动信息生成由多帧视频多个注视点构成的在线视频教学场景的注视点数据库；以及

分配模块，用于利用所述注视点数据库训练基于在线视频教学场景的视觉感知模型，并在嵌入编码器后，剔除目标视频中与教学内容无关的冗余信息的同时，为人眼重点关注的目标区域分配到目标码率。

6.根据权利要求5所述的装置，其特征在于，所述分配模块包括：

输出单元，用于基于所述视觉感知模型的网络逐帧输出显著性图，其中，每一帧图像的不同区域的权值不同。

7.根据权利要求6所述的装置，其特征在于，所述每一帧图像的不同区域的权值由区域约受关注度决定。

8.根据权利要求5所述的装置，其特征在于，所述目标区域包括讲板中的文字内容、讲师自身和所述讲师的手指向的区域。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的基于视觉感知模型的在线视频教学编码方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的基于视觉感知模型的在线视频教学编码方法。