[发明专利]一种多模态语言康复和学习系统

摘要

本发明为一种多模态语言康复和学习系统。脑电的采集分析对生命科学研究有着很好的前景，它的发展对人类的进步有着深远的意义。从脑电信号的层面解释语言现象，是语言学与脑科学相结合的结果；二者的结合则是一个新的尝试，即从脑电信号活动出发揭示语言行为，为心理的建构过程提供更多直观和科学的依据。语言、脑电信号的相关性探索为语言学研究注入了新的活力，同时也为语言教学提供了更多的参考。本发明提供了信号处理技术创新1)基于多模态语言行为数据(声音信号，视频中嘴唇运动模式，脑电信号)的模式匹配；2)语言行为多模态数据的潜在相关成分的提取。

主权项

一种多模态语言康复和学习系统，包括：客户端、融合语言行为多模态数据管理器、后台处理器端三个部分组成，其中，客户端是一多模态数据采集器，该多模态数据采集器包括：语音采集单元、视频采集单元、脑电信号采集单元、生成二维码单元和数据显示单元五部分组成，后台处理器端包括：预处理单元、特征参数提取单元、以及语音、嘴唇运动、脑电信号综合评价单元、综合加权成绩。