[发明专利]基于神经网络的视频描述生成方法、存储介质及终端设备在审

专利信息
申请号: 201811195508.6 申请日: 2018-10-15
公开(公告)号: CN109359214A 公开(公告)日: 2019-02-19
发明(设计)人: 赵峰;杜展;王健宗;肖京 申请(专利权)人: 平安科技(深圳)有限公司
主分类号: G06F16/73 分类号: G06F16/73;G06N3/04
代理公司: 深圳中一专利商标事务所 44237 代理人: 官建红
地址: 518000 广东省深圳市福田区福*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 帧序列 神经网络 图像帧 视频描述 预设 特征向量 语义向量 终端设备 视频 词向量 计算机可读存储介质 计算机技术领域 解码器 归一化指数 词语序列 存储介质 工作效率 编码器 帧间隔 输出
【权利要求书】:

1.一种基于神经网络的视频描述生成方法,其特征在于,包括:

按照预设的帧间隔提取视频的图像帧,并将提取出的各个图像帧构造为所述视频的帧序列;

分别计算所述帧序列中各个图像帧的特征向量;

将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理,输出所述帧序列的语义向量;

将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理,生成所述帧序列的词向量序列;

使用归一化指数函数对所述词向量序列进行处理,生成所述视频的描述词语序列。

2.根据权利要求1所述的视频描述生成方法,其特征在于,所述神经网络编码器根据下式进行状态更新:

其中,LSTM(1)为预设的第一长短期记忆网络,xt为所述第一长短期记忆网络在时刻t的输入,ht(1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量,ht-1(1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量;

所述神经网络解码器根据下式进行状态更新:

其中,LSTM(2)为预设的第二长短期记忆网络,wt-1为所述第二长短期记忆网络在时刻t-1生成的词向量,为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量,ct为所述第二长短期记忆网络在时刻t使用的注意力向量,ht(2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量,ht-1(2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。

3.根据权利要求2所述的视频描述生成方法,其特征在于,所述注意力向量的设置过程包括:

根据下式计算所述注意力向量:

其中,为预设的权重系数,且为预设的对齐函数。

4.根据权利要求3所述的视频描述生成方法,其特征在于,所述对齐函数的设置过程包括:

从以下函数集合中选取一个函数作为所述对齐函数:

其中,Wa和Wb均为预设的系数。

5.根据权利要求2至4中任一项所述的视频描述生成方法,其特征在于,所述第一长短期记忆网络和所述第二长短期记忆网络中的各个神经网络单元根据下式进行数据处理:

其中,it为输入门在时刻t的输出,ft为遗忘门在时刻t的输出,ot为输出门在时刻t的输出,Wxi,Whi,Wxf,Whf,Wxo,Who,Wxg,Whg,bi,bf,bo,bg均为预设的参数,sigmoid为S型生长函数,且tanh为双曲正切函数,且

6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的视频描述生成方法的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811195508.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top