[实用新型]一种基于动作识别及语音技术的手语和唇语互译系统

摘要

本实用新型公开了一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块，两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接有显示器、语音播放模块。公开了本实用新型可实现手语和唇语互译，具有很好的应用前景。

主权项

一种基于动作识别及语音技术的手语和唇语互译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块，两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接有显示器、语音播放模块，上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号，再将视频信号转化为语音信息通过语音播放模块播出，上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。