[发明专利]一种基于RISC-V的TinyML目标检测加速系统、方法、存储介质

说明书

本申请公开了一种基于RISC‑V的TinyML目标检测加速系统、方法、存储介质，该系统包括：乒乓缓存单元，与摄像头和RISC‑V软核E906单元连接，用于缓存摄像头采集到的图像，并将该图像发送到RISC‑V软核E906单元；RISC‑V软核E906单元，与所述乒乓缓存单元、指令缓存单元、数据总线连接，用于读取并解析所述指令缓存单元中的指令，并通过所述数据总线控制权重和参数缓存单元、卷积加速单元、卷积缓存单元的进行数据处理；卷积加速单元，与所述数据总线、权重和参数缓存单元和卷积缓存单元连接，用于根据所述权重和参数缓存单元和卷积缓存单元中的数据确定图像识别结果。

技术领域

本申请涉及深度学习领域，尤其涉及一种基于RISC-V的TinyML目标检测加速系统、方法、存储介质。

背景技术

超低功耗微控制器机器学习(Machine Learning with TensorFlow Lite onArduino and Ultra-Low-Power Microcontrollers，TinyML)是机器学习和嵌入式物联网设备的交叉领域，是一门新兴的工程学科，在边缘计算和节能计算等领域具有十分巨大的应用潜能。当前主流方式为结合ARM核使用，但ARM核授权费用昂贵。

精简指令集计算机(Reduced Instruction Set Computer，RISC-V)指令集作为新兴的指令集架构，采用宽松的伯克利软件发行版(Berkeley Software Distribution，BSD)协议，有着十分浓厚的开源气息，可实现完全自主可控的系统设计。

由于卷积计算复杂，运算量大，现有硬件计算的速度虽然达到了一定标准，但是，还有能够再提速的空间。

发明内容

本申请提供了一种基于RISC-V的TinyML目标检测加速系统、方法、存储介质，解决了在进行卷积计算时，运算速度难以进一步提升的技术问题。

一种基于RISC-V的TinyML目标检测加速系统，包括：

乒乓缓存单元，与摄像头和RISC-V软核E906单元连接，用于缓存摄像头采集到的图像，并将该图像发送到RISC-V软核E906单元；

RISC-V软核E906单元，与所述乒乓缓存单元、指令缓存单元、数据总线连接，用于读取并解析所述指令缓存单元中的指令，并通过所述数据总线控制权重和参数缓存单元、卷积加速单元、卷积缓存单元的进行数据处理；

卷积加速单元，与所述数据总线、权重和参数缓存单元和卷积缓存单元连接，用于根据所述权重和参数缓存单元和卷积缓存单元中的数据确定图像识别结果。

在本申请的一种实施例中，所述卷积加速单元为乘法器阵列，所述乘法器阵列能够根据模型的不同更换组合阵列。

在本申请的一种实施例中，所述权重和参数缓存单元，与所述数据总线和所述卷积加速单元连接，用于存储TinyML模型训练生成的权重数据、量化参数和偏移量参数。

在本申请的一种实施例中，所述显示单元，与所述RISC-V软核E906单元连接，用于接收并显示图像识别结果。

在本申请的一种实施例中，所述系统还包括：摄像头模组，与所述乒乓存储单元连接，用于将采集到的图像发送到乒乓缓存单元。

一种基于RISC-V的TinyML目标检测加速方法，应用于基于RISC-V的TinyML目标检测加速系统中，包括：

通过摄像头采集图像，将所述图像输入到乒乓缓存单元；

通过所述乒乓缓存单元将采集到的图像输入到RISC-V软核E906单元；