[发明专利]基于增强现实技术的儿童认知系统及认知方法

摘要

基于增强现实技术的儿童认知系统及认知方法，包括图像信息录入模块、图像信息匹配模块、绘制模型模块以及语音识别模块。通过对ARToolkit增强现实开发包，Microsoft Speech SDK语音识别引擎，3D max建模工具等接口开发出一套识别标识来触发事件，通过语音识别与计算机中虚拟场景进行简单交互的儿童认知平台。通过OpenGL图像处理技术和3D建模技术来实现模型的移动、放大、缩小等操作。本发明具有开发周期短、可维护性好、移植性好以及易修改性强的优点，此外，用户通过使用本发明编写识字手册达到更好的学习效果，为儿童使用增强现实应用系统提供了一种交互性强的认知平台。

主权项

基于增强现实技术的儿童认知系统，其特征在于包括：图像信息录入模块：利用ARToolkit初始化摄像头参数，启动摄像头捕捉现实场景，导入预先做好的识字手册为作为匹配模版，然后根据用户设定的阈值将采集到的一帧彩色图像进行二值化处理，转化为黑白二值图像。在该二值黑白图像中找出所有封闭的矩形区域，把所有寻找出的矩形区域存储起来作为候选区域，并将候选区域图像信息存储到匹配模版库；图像信息匹配模块，将预先准备好的识字手册放在摄像头前，利用ARToolkit捕捉图像信息，把该图像信息和匹配模版库中的图像信息进行匹配，根据设定匹配标准，当匹配概率的值达到标准时，则认为匹配成功，进而绘制相应的模型；所述匹配时采用利用基于圈基的谱匹配算法，具体如下：首先分别对两幅待匹配的图像构造完全图，在每个完全图中寻找所有的圈基，再通过各自的圈基构造邻接矩阵，然后进行奇异值分解，利用分解所得的特征向量构造反映特征点之间匹配程度的概率矩阵，最后通过双随机矩阵计算谱匹配的概率矩阵，获得匹配的最终结果；绘制模型模块：预先利用3D max绘图工具为匹配模版库中每个图像制作了3D动画模型，当图像信息匹配成功时，就打开相应的模型文件，运行对应的程序；同时利用Virtools渲染工具为每个模型整合音频文件；语音识别模块：成功打开3D动画和音频文件后，系统会进入语音识别模块。当用户第一次使用该系统时，系统会引导用户对声音进行提取录入，接下来系统利用Microsoft Speech SDK语音包进行录音，生成WAVE文件，并生成其波形图和语谱图。从而对语音信号进行预处理和特征提取，将提取的信息放入数据库中，实现了对用户语音特征的学习；对语音特征学习完成后，则打开预先设定好的音频文件，对用户进行提问；当用户回答时，首先采集用户回答的语音信号并提取信号中的特征参数，接下来在数据库中寻找匹配模版，如果 找到，则认为匹配成功。用大词汇量的连续语音识别技术提取语音信号中的关键词，如果语音信号中存在系统预先设定好的关键词，则认为回答正确，否则认为回答错误。