[发明专利]视频描述生成方法、装置、设备及存储介质有效
| 申请号： | 201910325193.0 | 申请日： | 2019-04-22 |
| 公开（公告）号： | CN109874029B | 公开（公告）日： | 2021-02-12 |
| 发明（设计）人： | 裴文杰;张记袁;柯磊;戴宇荣;沈小勇;贾佳亚;王向荣 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | H04N21/234 | 分类号： | H04N21/234;H04N21/2343;H04N21/235;H04N21/435;H04N21/44;H04N21/4402 |
| 代理公司： | 北京三高永信知识产权代理有限责任公司 11138 | 代理人： | 张所明 |
| 地址： | 518057 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种视频描述生成方法、装置、设备及存储介质。该方法包括：通过视频描述生成模型的编码器对目标视频进行编码，得到目标视频的目标视觉特征；通过视频描述生成模型的基础解码器对目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，基础解码器用于采用注意力机制解码出与目标视觉特征匹配的候选词汇；通过视频描述生成模型的辅助解码器对目标视觉特征进行解码，得到各个候选词汇对应的第二选取概率，辅助解码器的记忆结构中包括各个候选词汇对应的参考视觉上下文信息，参考视觉上下文信息根据候选词汇对应的相关视频生成；根据第一选取概率和第二选取概率确定候选词汇中的解码词；根据若干个解码词生成视频描述。 | ||
| 搜索关键词： | 视频 描述 生成 方法 装置 设备 存储 介质 | ||
【主权项】：
1.一种视频描述生成方法，其特征在于，所述方法包括：通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；根据所述第一选取概率和所述第二选取概率确定所述候选词汇中的解码词；根据若干个所述解码词生成所述目标视频对应的视频描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910325193.0/，转载请声明来源钻瓜专利网。
