[发明专利]一种基于多级图像上下文编解码的图像人物行为描述生成方法有效
| 申请号： | 202110776126.8 | 申请日： | 2021-07-08 |
| 公开（公告）号： | CN113449801B | 公开（公告）日： | 2023-05-02 |
| 发明（设计）人： | 田锋;南方;经纬;郑庆华 | 申请（专利权）人： | 西安交通大学 |
| 主分类号： | G06V10/80 | 分类号： | G06V10/80;G06V10/774;G06V40/20;G06V10/82;G06V10/20;G06N3/0455 |
| 代理公司： | 西安通大专利代理有限责任公司 61200 | 代理人： | 崔方方 |
| 地址： | 710049 *** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多级图像上下文编解码的图像人物行为描述生成方法，属于图像描述生成领域。本发明使用预训练的目标检测模型分别提取人物和实体特征，并分别使用独立的编码器进行编码，在解码阶段进行融合，解决了传统方法无法捕获足够下文信息的问题。而在图像描述任务中，相似的视觉信号并不等价于相同的语义信息，这一现象被称为图像和语言之间语义鸿沟。多人场景中多种行为具有相似的图像信号，人物同时与多个物品的互动行为存在不同的语义信息，人‑物互动行为的描述需要捕获互动类型、行为意图等高层语义内容，使得该问题更加严重。本发明使用基于Transformer的结构对图像语义信息进行单独建模，更好地解决了语义鸿沟问题。 | ||
| 搜索关键词： | 一种 基于 多级 图像 上下文 解码 人物 行为 描述 生成 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安交通大学，未经西安交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110776126.8/，转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
