[发明专利]数字图像稳定处理的优化方法、系统、芯片和板卡在审
申请号: | 202111665204.3 | 申请日: | 2021-12-31 |
公开(公告)号: | CN116416148A | 公开(公告)日: | 2023-07-11 |
发明(设计)人: | 请求不公布姓名 | 申请(专利权)人: | 上海寒武纪信息科技有限公司 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06T7/277;G06F17/16 |
代理公司: | 北京维昊知识产权代理事务所(普通合伙) 11804 | 代理人: | 陈姗姗 |
地址: | 201306 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数字图像 稳定 处理 优化 方法 系统 芯片 板卡 | ||
1.一种数字图像稳定系统,用于执行数字图像稳定处理,所述数字图像稳定处理包括局部运动估计过程、全局运动估计和运动平滑过程和图像矫正过程,所述数字图像稳定系统包括通用处理器和专用处理电路,其中:
所述通用处理器,配置用于调度所述数字图像稳定处理中各个过程的执行主体和参数设置;以及
所述专用处理电路,配置用于根据所述通用处理器的调度,至少执行所述局部运动估计过程和/或所述图像矫正过程中的一部分。
2.根据权利要求1所述的数字图像稳定系统,其中所述局部运动估计过程包括构建图像金字塔、特征点检测、特征点匹配和帧间运动求取,并且所述专用处理电路进一步配置用于执行所述局部运动估计过程中的所述构建图像金字塔、特征点检测、特征点匹配和帧间运动求取中的一项或多项。
3.根据权利要求1或2所述的数字图像稳定系统,其中所述图像矫正过程包括防抖矩阵求取和图像去抖,并且所述专用处理电路进一步配置用于执行所述图像矫正过程中的所述图像去抖。
4.根据权利要求1-3任一所述的数字图像稳定系统,其中所述通用处理器进一步配置用于执行所述数字图像稳定处理中的除所述专用处理电路执行的处理之外的其余处理。
5.根据权利要求1-4任一所述的数字图像稳定系统,其中:
所述通用处理器包括中央处理器、图形处理器、专用集成电路、数字信号处理器、现场可编程门阵列中的任一种;和/或
所述专用处理电路包括专用集成电路、现场可编程门阵列、单核智能处理器或多核智能处理器。
6.根据权利要求5所述的数字图像稳定系统,其中所述专用处理电路包括运算单元,所述运算单元包括一个主处理电路和多个从处理电路,其中:
所述主处理电路,用于对输入数据执行前序处理以及在所述多个从处理电路之间传输数据和运算指令;
所述多个从处理电路,用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果,并将多个中间结果传输给所述主处理电路;并且
所述主处理电路进一步用于对所述多个中间结果执行后续处理以得到最终运算结果。
7.根据权利要求6所述的数字图像稳定系统,其中所述专用处理电路包括若干计算簇,每个计算簇包含若干所述运算单元以及由所述运算单元使用的共享存储单元,其中:
所述共享存储单元划分成多个存储区,以配置成包括片外内存、所述共享存储单元和所述运算单元的数据级流水线,以支持所述片外内存与所述共享存储单元之间的并行处理以及所述运算单元与所述片外内存和/或所述共享存储单元之间的并行处理。
8.根据权利要求7所述的数字图像稳定系统,其中所述运算单元还包括本地存储单元,以配置成包括所述片外内存、共享存储单元、所述本地存储单元和所述主处理电路的数据级流水线。
9.一种用于优化数字图像稳定处理的方法,其中所述数字图像稳定处理包括局部运动估计过程、全局运动估计和运动平滑过程和图像矫正过程,所述方法包括:
利用通用处理器来调度所述数字图像稳定处理中各个过程的执行主体和参数设置;以及
利用专用处理电路,在所述通用处理器的调度下,至少执行所述局部运动估计过程和/或所述图像矫正过程中的一部分。
10.根据权利要求9所述的方法,进一步包括:
将所述局部运动估计过程拆分为构建图像金字塔、特征点检测、特征点匹配和帧间运动求取子过程;以及
将所述构建图像金字塔、特征点检测、特征点匹配和帧间运动求取子过程中的一项或多项分配给所述专用处理电路执行。
11.根据权利要求9-10任一所述的方法,进一步包括:
将所述图像矫正过程拆分为防抖矩阵求取和图像去抖子过程;以及
将所述图像去抖子过程分配给所述专用处理电路执行。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海寒武纪信息科技有限公司,未经上海寒武纪信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111665204.3/1.html,转载请声明来源钻瓜专利网。