[发明专利]智能相机多核异构片上集成系统及视觉控制方法

权利要求书

1.一种智能相机多核异构片上集成系统，其特征在于，在一颗多核异构芯片中，通过片内计算资源分配，将视觉采集、视觉处理和运动控制任务进行片上集成，实现视觉闭环控制方法的单颗芯片异构并行计算。

2.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，所述视觉采集任务由片上FPGA通过图像传感协议采集图像传感模组数据，并在FPGA中实现图像数据格式转换、图像预处理和数据存储传输；

所述视觉处理任务从内存读取待计算图像数据，由片上中央处理器实现自定义视觉算法计算，由片上FPGA实现通用视觉算法加速；

所述运动控制任务由片上实时协处理器根据视觉计算结果实现自定义视觉-运动闭环控制算法计算，由片上FPGA通过实时总线协议或脉冲方式实现运动控制数据的收发。

3.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，所述片内中央处理器与实时协处理器之间以共享内存方式通信，片内FPGA与处理器之间通过片内高速总线通信。

4.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，所述片内中央处理器实现对实时协处理器与片内FPGA的程序管理，同时中央处理器与无线传输模块相连，实现中央处理器、协处理器与FPGA的程序根据使用场景进行远程管理与更换。

5.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，包括：

高速实时总线模块与多轴脉冲分发模块，用于兼容不同驱动器类型，根据运动控制模块的计算结果，向总线型驱动器或脉冲型驱动器发送相应控制消息，从而带动执行机构运动；

实时闭环反馈采集模块，用于采集各运动轴当前运动位置数据并进行数据的解码，以供运动控制模块根据当前各轴位置、速度及加速度信息，进行各轴的闭环运动控制量计算。

6.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，包括：

总线扩展与I/O模块，用于与其他外设及控制执行系统连接，便于智能相机根据不同场景进行控制功能扩展。

7.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，包括：

存储模块，用于完成系统配置信息、用户程序、计算过程中间量的存储，以及外部存储介质信息的读写。

8.根据权利要求7所述的智能相机多核异构片上集成系统，其特征在于，包括：

用户交互模块，所述用户交互模块分别与图像预处理模块和存储模块相连接，用于实现图像显示和传输、用户自定义视觉计算和运动控制算法调试及下载的交互功能。

9.一种基于智能相机多核异构片上集成的视觉控制方法，其特征在于，采用权利要求1-8任一项所述的智能相机多核异构片上集成系统，包括如下步骤：

视觉采集步骤：由片内FPGA采集图像传感模组原始图像数据并进行数据格式转换，得到通用图像数据格式，同时进行图像预处理与内存传输；

视觉处理步骤：片内高性能中央处理器读取内存中图像数据，根据自定义的视觉算法处理图像，利用FPGA进行图像通用处理算法加速，得到视觉控制指令和运动控制指令并存入内存；

运动控制步骤：片内实时协处理器读取内存中运动控制指令，根据指令进行自定义多轴闭环运动控制与多轴机器人逆运动学计算、运动控制指令分发以及其他预设范围内的控制执行指令下发；

存储步骤：对信号、图像、视觉算法和控制算法进行存储，以及外部存储介质信息的读写；

用户交互步骤：进行图像显示和传输。

10.根据权利要求9所述的基于智能相机多核异构片上集成的视觉控制方法，其特征在于，采用视觉感知-运动控制双闭环控制结构抑制视觉系统时延和机械系统惯性滞后，通过内部定时器获取视觉采集和计算时延，并采用固定最小时延的策略进行视觉感知外环和运动控制内环联合建模和前馈补偿控制。