[发明专利]用于视频结构化的方法及装置有效
申请号: | 202011328654.9 | 申请日: | 2020-11-24 |
公开(公告)号: | CN112132120B | 公开(公告)日: | 2021-03-30 |
发明(设计)人: | 蒋煜襄;曹海明;王林梅;王林芳;梅涛 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100176 北京市大兴区经济技*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 视频 结构 方法 装置 | ||
1.一种用于视频结构化的方法,包括:
接收待处理视频,并确定针对于所述待处理视频的至少一个结构化信息类型;
将所述待处理视频输入至少一条引擎链,得到至少一种结构化信息,其中,所述至少一条引擎链与所述至少一个结构化信息类型一一对应,所述至少一条引擎链中的每条引擎链用于处理所述待处理视频,得到与该引擎链对应的结构化信息类型下的结构化信息,该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应;
对所述至少一种结构化信息进行对齐,得到所述待处理视频对应的目标结构化信息。
2.根据权利要求1所述的方法,其中,还包括:
针对于所述至少一条引擎链中的每条引擎链,基于用户对该引擎链的数据流转配置操作,确定该引擎链所包括的各引擎和各引擎的数据流转顺序。
3.根据权利要求1所述的方法,其中,还包括:
针对于所述至少一条引擎链中的每条引擎链中的每个引擎,从该引擎对应的消息队列中,获取待处理数据,并将所生成的数据作为下一个引擎的待处理数据,传输至下一个引擎对应的消息队列。
4.根据权利要求1所述的方法,其中,引擎链中的各引擎在系统级芯片上运行;
所述将所述待处理视频输入至少一条引擎链,得到至少一种结构化信息,包括:
针对于所述至少一条引擎链中的每条引擎链,执行如下操作:
在所述系统级芯片中,确定该引擎链中的各引擎一一对应的目标单元;
基于该引擎链所包括的设置于所对应的目标单元中的各引擎,处理所述待处理视频,得到该引擎链对应的结构化信息。
5.根据权利要求4所述的方法,其中,所述基于该引擎链所包括的设置于所对应的目标单元中的各引擎,处理所述待处理视频,得到该引擎链对应的结构化信息,包括:
通过设置于图像处理单元中的解码引擎,对所述待处理视频进行硬解码,得到原始帧数据;
通过设置于嵌入式神经网络处理器中的检测引擎,检测所述原始帧数据中是否存在该引擎链对应的结构化信息;
响应于确定所述原始帧数据中存在该引擎链对应的结构化信息,通过设置于片上控制中央处理器中的确定引擎,确定所述原始帧数据中存在所述结构化信息的目标区域;
通过设置于所述嵌入式神经网络处理器中的关键点引擎确定所述目标区域中的结构化信息的关键点信息;
根据所述关键点信息,通过设置于所述片上控制中央处理器中的调整引擎调整所述目标区域;
通过设置于所述嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取,得到该引擎链对应的结构化信息。
6.根据权利要求5所述的方法,其中,所述对所述至少一种结构化信息进行对齐,得到所述待处理视频对应的目标结构化信息,包括:
对所述原始帧数据,进行图像编码,得到编码后图像数据;
根据所述编码后图像数据,对所述至少一种结构化信息进行对齐,得到所述待处理视频对应的目标结构化信息。
7.根据权利要求6所述的方法,其中,所述编码后图像数据以及所述至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储;
所述根据所述编码后图像数据,对所述至少一种结构化信息进行对齐,得到所述待处理视频对应的目标结构化信息,包括:
针对于各存储队列,将标识信息相匹配的数据进行对齐,得到所述待处理视频对应的目标结构化信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011328654.9/1.html,转载请声明来源钻瓜专利网。