[发明专利]一种基于无监督方式对教学视频进行指代消解的方法

说明书

技术领域

本发明涉及指代消解领域，尤其是涉及了一种基于无监督方式对教学视频进行指代消解的方法。

背景技术

指代消解是常用于自然语言接口、机器翻译、文本摘要和产品设计等领域，在信息抽取中起着重要作用。具体地，产品设计的过程中，用户的需求都是用自然语言形式来描绘，指代消解可以自然语言形式的信息即用户的需求转变为计算机所能理解的信息，从而实现智能化的产品设计过程，除此之外，在机器翻译领域，指代消解可以帮助分析句子的句法、语义代词含义等信息从而提高机器翻译的准确性。虽然指代消解在计算语言学领域日益重要，并成为自然语言处理上热门的研究问题，但是现有研究尚且仅针对纯语言，要解决视频中同时存在的视觉和语言歧义仍然是一个严峻的挑战。

本发明提出了一种基于无监督方式对教学视频进行指代消解的方法，引入一个同时使用视觉和语言提示的无监督图形优化模型，解决视觉和语言的指代歧义。利用视觉模型处理视频，语言模型处理转录和动作图表示编码所有指代相关的信息，并将指代消解的目标制定为图形优化任务，使用动作图作为潜在表示，将实体连接到动作输出，利用动作的所有历史信息实现无监督地指代消解。本发明突破了现有方法必需在训练时间内有足够的监督的局限，在教学视频中引入了无监督的指代消解方法，联合学习视觉和语言模型进行指代消解，从而更加鲁棒可以解决不同类型的歧义，推动自然语言处理在在人工智能领域的进一步发展。

发明内容

针对现有方法均是在有足够监督下才可消解指代的局限，引入一个同时使用视觉和语言提示的无监督图形优化模型，在教学视频中引入了无监督的指代消解方法，联合学习视觉和语言模型进行指代消解，从而更加鲁棒可以解决不同类型的歧义。

为解决上述问题，本发明提供一种基于无监督方式对教学视频进行指代消解的方法，其主要内容包括：

(一)视觉-语言模型；

(二)联合模型的学习和推理。

其中，所述的视觉-语言模型，视觉-语言模型是一个无监督的指代消解模型，由一个处理视频的视觉模型，处理转录的语言模型，以及编码所有指代相关信息的动作图表示三个部分组成，利用动作图作为潜在表示，将实体链接到动作输出，联合学习教学视频中的视觉和语言线索进行图形优化，即找到节点(即动作和实体)之间一组最佳边缘(即指代)，本质上，动作图是每个视频中的动作及其指代的潜在表示，并且通过具有其视觉(即帧)和语言(即指令)提示的视频进行观察，动作图包含所有历史信息(即随时间变化的指代)有助于解决复杂的歧义，用于学习给定两个观察值的动作图的似然函数，正式地，优化下面的似然函数：

其中G，V和L分别是以时间为准线的动作图，视频和相应的语音转录集，θ_V和θ_L是视觉和语言模型的参数，假设观察在给定动作图的情况下是条件独立的，则可以进一步细分为：

因此分别制定视觉和语言模型，同时二者仍然通过动作图连接。

进一步地，所述的动作图，是包含所有与动作，实体及其指代相关的信息内部表示：动作描述(例如，添加，修饰，顶部)、动作时间戳和实体的指代，定义动作图G＝(E,A,R)具有E＝{e_ij}，一组实体节点e_ij，A＝{a_i}一组动作节点a_i，包括并将实体节点分组为动作，并且R＝{r_ij}，一组对应于每个实体e_ij的标记r_ij的边缘，具体细节定义如下：a_i＝ (pred_i,[e_ij],z_i)，其中pred_i表示谓词或动词，e_ij是a_i的实体节点，其中表示其句法类型、表示其语义类型、S_ij表示其字符串表示；另外，z_i＝(f^s,f^e) 是a_i的开始和结束时间，r_ij＝o表示从实体e_ij到其起始动作节点a_o的方向边缘或指代；