[发明专利]一种基于PYNQ的智能监控系统及监控方法有效

专利信息
申请号: 201910661356.2 申请日: 2019-07-22
公开(公告)号: CN110414401B 公开(公告)日: 2022-02-15
发明(设计)人: 李一涛;胡有能;岳克强 申请(专利权)人: 杭州电子科技大学
主分类号: G06V20/40 分类号: G06V20/40;G06V20/52;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;H04N7/18
代理公司: 杭州浙科专利事务所(普通合伙) 33213 代理人: 吴秉中
地址: 310018 浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 pynq 智能 监控 系统 方法
【权利要求书】:

1.一种基于PYNQ的智能监控方法,其特征在于:该方法采用的监控系统包括通过USB连接的摄像头和PYNQ处理系统,所述PYNQ处理系统包括arm处理器和FPGA,其特征在于所述PYNQ系统包括多目标检测模块、通用卷积神经网络加速器IP和Python的API接口,所述多目标检测模块移植与优化faster-RCNN多目标检测算法,优化AlexNet网络的结构做为前馈网络,并对检测结果kmeans聚类;所述faster-RCNN多目标检测算法包括建议框的提取模块、SVM分类模块、线性回归修正模块、卷积模块、池化模块、全连接层模块;监控方法包括如下步骤:

(1)把训练好的网络权重导入PYNQ的SD卡中,再从SD读取权重到DDR中;

(2)图像采集,控制USB摄像头采集图像,并通过USB接口传输一帧图片到PYNQ上;arm处理器把图像预处理为AlexNet网络的输入格式的特征图写入到DDR中;

(3)调用API配置网络参数,通过AXI_lite控制对应的寄存器,根据每层的网络结构不同,配置核大小、步长、是否补0,以及该层为卷积层还是池化层,是否需要激活函数信息;

(4)启动通用卷积神经网络加速器IP进行计算,FPGA自动通过DMA从DDR按行搬运特征图数据,计算后把结果写回DDR,循环执行每一层,完成卷积和池化层的正向推导计算;

(5)arm处理器干预,检测标志位判断是否完成计算;

(6)根据锚点盒进行建议框的选取,根据建议框裁剪出可能为目标的部分特征图进行ROI池化,再次调用通用卷积神经网络加速器IP进行全连接层的计算,全连接层的实现是转换成长宽为1的卷积计算;

(7)对全连接层计算结果用支持向量机进行分类,用回归模型修正得到目标的边界框坐标,并用kmeans聚类筛选重复识别的目标。

2.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的卷积模块、池化模块、全连接层模块使用FPGA中通用卷积神经网络加速器IP计算。

3.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的Python的API接口包括通用卷积神经网络加速器IP的配置参数、搬运数据、执行计算、获取状态。

4.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的建议框的提取模块、SVM分类模块、线性回归修正模块和kmeans聚类模块在arm处理器中计算。

5.根据权利要求2所述的一种基于PYNQ的智能监控方法,其特征在于所述arm处理器预处理得特征图存储在DDR,按行输入,采用AXI-lite总线控制,DMA传输图像数据。

6.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所述的通用卷积神经网络加速器IP包括计算单元,所述计算单元内部采用行列复用、6级流水,所述通用卷积神经网络加速器IP可选择实现卷积、池化、激活函数的功能,可以自定义核的大小、步长、补0。

7.根据权利要求1所述的一种基于PYNQ的智能监控方法,其特征在于所属的建议框可以配置三种面积、三种尺度,共9种形式的建议框。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910661356.2/1.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code