[发明专利]提高孤独症儿童社会互动能力的人机互动多模态早期干预系统

权利要求书

1.一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，特征在于：该系统包括一台多点触摸屏(1)，第1摄像头(2-1)，第2摄像头(2-2)，第3摄像头(2-3)，计算机(3)，第1摄像头、第3摄像头和第2摄像头分别安装在多点触摸屏的左边、右边以及中上方，3个摄像头带麦克风通过USB接口与计算机相连，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物(5)之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景(4)和输出各种声音。

2.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的第1摄像头(2-1)和第3摄像头(2-3)选用LogitechQuickcam摄像头，第2摄像头(2-2)选用Mironu Webcam摄像头。

3.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的多点触摸屏(1)尺寸为42寸触摸屏。

4.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的视觉信号处理模块，采用C++编程语言实现基于特征点方法的儿童注意力检测，以及基于稀疏表示表情识别方法的儿童心理状态估计。

5.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的语音信号处理模块，分析儿童语音信号中的语调频率和共振峰频率参数，采用C++编程语言实现基于隐马尔科夫模型的儿童语音识别算法。

6.如权利要求1所述的提髙孤独症儿童社会互动能力的人机多模态早期干预系统，其特征在于：所述的物理交互界面采用基于PQLabs的Java编程语言检测儿童在虚拟环境中触摸的准确位置。

7.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的多模态融合模块是基于Internet CommunicationsEngine中间件的平台。

8.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的智能控制台模块是基于FAtiMA结构，采用Java编程语言实现。

9.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的真实场景模拟模块采用Maya动画技术和SuperCollider声音输出软件工具。