[发明专利]一种针对机械臂的嵌入式视觉系统及其使用方法

权利要求书

1.一种针对机械臂的嵌入式视觉系统，其特征在于，包括图像采集模块、现场可编程门阵列FPGA模块、工控机模块和执行终端模块；

图像采集模块由至少两个图像采集装置组成，图像采集装置以分布式网络结构搭载在执行终端模块上，获取执行终端模块捕捉到的特征对象的经过畸化处理的视觉图像，图像采集模块将视觉图像信号转化成数字图像视频信号传输给现场可编程门阵列FPGA模块进行处理；

现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接，采用初级的图像视频预处理算法，对图像采集模块采集的图像视频进行数字化、图像二值化和滤波预处理，并将处理后的数据信号封装成ROS节点，通过数据总线利用ROS通信协议，以ROS消息的形式传输至工控机模块；ROS通信协议用GigE千兆以太网接口实现图像视频的传输，I/O接口则由FPGA控制，用于FPGA向执行终端模块、工控机模块发送控制流信号；以ROS消息的形式传输至工控机模块做进一步处理分析；

工控机模块采用ARM内核处理器作为主控制器的处理器，主控制器基于开源机器人操作系统ROS框架，使用ROS通信实现模块间点对点的松耦合分布式网络连接的处理架构，并相应地执行通讯；

ARM内核处理器进行实时的多视频处理和图像处理，判断来自主控制器的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；

执行终端模块与主控制器利用通信节点进行数据传输，且根据工控机模块输出的矫正指令，调整位姿。

2.应用如权利要求1所述的一种针对机械臂的嵌入式视觉系统的使用方法，其特征在于，包括如下步骤：

步骤一、对嵌入式视觉系统离线进行初始化；

步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；

具体为：图像采集模块的工作方式为外触发方式，由现场可编程门阵列FPGA模块提供触发信号后，利用以太网接口的图像传输通路进行图像采集，将真实图像视频的模拟信号经过图像采集模块内部处理及模数转换单元转换后，转化为现场可编程门阵列FPGA模块可处理的数字图像视频信号，通过数据总线送入现场可编程门阵列FPGA模块中；

步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理后，送入工控机模块中；

具体为：通过地址总线和数据总线与ARM处理器连接进行指令和数据的交换，接收数字化图像视频信号中的行、场同步及亮度信号，进行图像预处理，图像二值化，边缘分割和滤波等预处理，并将处理后的数据信号和图像视频数据存储入SRAM中，通过嵌入式芯片的图像视频口GigE Vision接口标准和数据总线送入工控机模块中的嵌入式ARM内核处理器；

步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块；

所述的进一步处理，是指ARM内核处理器进行实时的复杂的多图像视频处理和图像处理，根据处理结果，工控机模块得出相应的执行操作目的，给出相应的指令控制操作；

步骤五、执行终端模块控制机械臂根据多图相视频处理结果的控制信号进行相应的位姿校正和调整；

工控机模块相应给出矫正指令，向执行终端模块发送控制信号，执行终端模块根据指令相应地调整位姿，完成位置校正操作。