[发明专利]一种基于无监督方式对教学视频进行指代消解的方法

权利要求书

1.一种基于无监督方式对教学视频进行指代消解的方法，其特征在于，主要包括视觉-语言模型(一)；联合模型的学习和推理(二)。

2.基于权利要求书1所述的视觉-语言模型(一)，其特征在于，视觉-语言模型是一个无监督的指代消解模型，由一个处理视频的视觉模型，处理转录的语言模型，以及编码所有指代相关信息的动作图表示三个部分组成，利用动作图作为潜在表示，将实体链接到动作输出，联合学习教学视频中的视觉和语言线索进行图形优化，即找到节点(即动作和实体)之间一组最佳边缘(即指代)，本质上，动作图是每个视频中的动作及其指代的潜在表示，并且通过具有其视觉(即帧)和语言(即指令)提示的视频进行观察，动作图包含所有历史信息(即随时间变化的指代)有助于解决复杂的歧义，用于学习给定两个观察值的动作图的似然函数，正式地，优化下面的似然函数：

$\underset{G}{\arg \max }P\left(L,V|G;{\mathrm{\θ}}_V;{\mathrm{\θ}}_L\right)---\left(1\right)$

其中G，V和L分别是以时间为准线的动作图，视频和相应的语音转录集，θ_V和θ_L是视觉和语言模型的参数，假设观察在给定动作图的情况下是条件独立的，则可以进一步细分为：

$\underset{G}{\mathrm{argmax}}P\left(L\right|G;{\mathrm{\θ}}_L)P\left(V\right|G;{\mathrm{\θ}}_V)---\left(2\right)$

因此分别制定视觉和语言模型，同时二者仍然通过动作图连接。