[实用新型]一种基于动作识别及语音技术的手语和唇语互译系统

说明书

技术领域

    本实用新型涉及手语和唇语互译系统领域，具体为一种基于动作识别及语音技术的手语和唇语互译系统。

背景技术

基于视频的动作识别设备由主机、动作识别模块等构成，可通过动作识别设备中的摄像头采集人体的运动图像，并通过集成的图像算法芯片，对运动图像进行解析，形成人体运动的三维动态坐标，经主机的图像合成与仿真，最后得到相应的动作视频，因此动作识别设备可作为手语和唇语互译系统的基础设备。而现有技术中尚没有基于动作识别及语音技术的手语和唇语互译系统。

实用新型内容

本实用新型的目的是提供一种基于动作识别及语音技术的手语和唇语互译系统，以解决现有技术中尚没有基于动作识别及语音技术的实现手语和唇语互译系统的问题。

为了达到上述目的，本实用新型所采用的技术方案为：

一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块，两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接有显示器、语音播放模块，上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块播出，上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。

所述的一种基于动作识别及语音技术的手语和唇语互译系统，其特征在于：所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。

本实用新型依据Bumblebee双目测量原理，应用FPGA驱动两个摄像头A，并通过DSP的I2C/SPI总线使两个摄像头A同步采集运动图像，图像数据在DSP进行预处理后传送至上位机。本实用新型依据Bumblebee双目测量原理，应用FPGA驱动两个摄像头B和语音识别模块，并通过DSP的I2C/SPI总线使两个摄像头B和语音识别模块同步采集运动图像和语音信号，图像数据和语音信号在DSP进行预处理后传送至上位机。上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块播出，上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本实用新型可实现手语和唇语互译，具有很好的应用前景。

附图说明

图1为本实用新型结构框图。

具体实施方式

如图1所示。一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头1和一对用于采集正常人唇语的摄像头2以及一个用于采集正常人声音的语音识别模块3，两摄像头1、两摄像头2、语音识别模块3分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头1、两摄像头2、语音识别模块3连接，DSP还通过USB总线与上位机4通讯连接，上位机4外接有显示器5、语音播放模块6，上位机4将DSP传来的摄像头1采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块6播出，上位机4将DSP传来的摄像头2采集的正常人唇语的图像数据和语音识别模块6采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器5上显示。FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。