[发明专利]一种基于PYNQ的智能监控系统及监控方法有效
申请号: | 201910661356.2 | 申请日: | 2019-07-22 |
公开(公告)号: | CN110414401B | 公开(公告)日: | 2022-02-15 |
发明(设计)人: | 李一涛;胡有能;岳克强 | 申请(专利权)人: | 杭州电子科技大学 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V20/52;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;H04N7/18 |
代理公司: | 杭州浙科专利事务所(普通合伙) 33213 | 代理人: | 吴秉中 |
地址: | 310018 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 pynq 智能 监控 系统 方法 | ||
1.一种基于PYNQ的智能监控方法,其特征在于:该方法采用的监控系统包括通过USB连接的摄像头和PYNQ处理系统,所述PYNQ处理系统包括arm处理器和FPGA,其特征在于所述PYNQ系统包括多目标检测模块、通用卷积神经网络加速器IP和Python的API接口,所述多目标检测模块移植与优化faster-RCNN多目标检测算法,优化AlexNet网络的结构做为前馈网络,并对检测结果kmeans聚类;所述faster-RCNN多目标检测算法包括建议框的提取模块、SVM分类模块、线性回归修正模块、卷积模块、池化模块、全连接层模块;监控方法包括如下步骤:
(1)把训练好的网络权重导入PYNQ的SD卡中,再从SD读取权重到DDR中;
(2)图像采集,控制USB摄像头采集图像,并通过USB接口传输一帧图片到PYNQ上;arm处理器把图像预处理为AlexNet网络的输入格式的特征图写入到DDR中;
(3)调用API配置网络参数,通过AXI_lite控制对应的寄存器,根据每层的网络结构不同,配置核大小、步长、是否补0,以及该层为卷积层还是池化层,是否需要激活函数信息;
(4)启动通用卷积神经网络加速器IP进行计算,FPGA自动通过DMA从DDR按行搬运特征图数据,计算后把结果写回DDR,循环执行每一层,完成卷积和池化层的正向推导计算;
(5)arm处理器干预,检测标志位判断是否完成计算;
(6)根据锚点盒进行建议框的选取,根据建议框裁剪出可能为目标的部分特征图进行ROI池化,再次调用通用卷积神经网络加速器IP进行全连接层的计算,全连接层的实现是转换成长宽为1的卷积计算;
(7)对全连接层计算结果用支持向量机进行分类,用回归模型修正得到目标的边界框坐标,并用kmeans聚类筛选重复识别的目标。
2.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的卷积模块、池化模块、全连接层模块使用FPGA中通用卷积神经网络加速器IP计算。
3.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的Python的API接口包括通用卷积神经网络加速器IP的配置参数、搬运数据、执行计算、获取状态。
4.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的建议框的提取模块、SVM分类模块、线性回归修正模块和kmeans聚类模块在arm处理器中计算。
5.根据权利要求2所述的一种基于PYNQ的智能监控方法,其特征在于所述arm处理器预处理得特征图存储在DDR,按行输入,采用AXI-lite总线控制,DMA传输图像数据。
6.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的通用卷积神经网络加速器IP包括计算单元,所述计算单元内部采用行列复用、6级流水,所述通用卷积神经网络加速器IP可选择实现卷积、池化、激活函数的功能,可以自定义核的大小、步长、补0。
7.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所属的建议框可以配置三种面积、三种尺度,共9种形式的建议框。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910661356.2/1.html,转载请声明来源钻瓜专利网。