[发明专利]基于增强现实技术的儿童认知系统及认知方法

说明书

技术领域

本发明涉及一种基于增强现实技术的儿童认知系统及认知方法，属于增强现实技术领域。

背景技术

增强现实就是将计算机生成的虚拟对象与真实世界结合起来，构造出虚实结合的虚拟空间。计算机系统提供的信息用来增强用户对现实世界的感知能力，可以增强或捕捉人眼所看到的东西，将计算机生成的虚拟物体、场景或系统所提示的信息叠加到真实场景中，从而实现对现实世界的“增强”。增强现实技术在工业设计、机械制造、建筑、教育和娱乐等领域都有广泛的应用场景，它不仅提供了一种容易实现的虚拟现实方法，更代表了下一代更容易使用的人机界面发展趋势。

为了能够进行增强现实应用开发，现在已经有很多种用于AR系统开发的工具包和API，如ARToolkit、Coin3D和MR Platform等，在该系统中，我们采用ARToolkit工具包。ARToolkit是一个C/C++语言编写的库，通过它可以让我们很容易编写增强现实应用程序。ARToolkit的工具包从跟踪注册的自然属性出发，在虚拟物体、真实环境、摄像头、2D成像平面坐标系之间的转换，将虚拟物体注册到真实场景中去，实现虚实无缝结合。

目前国内在增强现实方面研究和应用已经取得了一些进展，但是除了苏州梦想人软件公司开发的一种基于增强现实技术的学习系统，但是该系统并没有很好的实现语音互动，因此交互性相对较差。

通过对每张图片制作不同的3D模型，并且对一些有关联的卡片做了逻辑关系处理。在模型的制作上，利用3D max制作出动态逼真场景来充分调动儿童的兴趣。并引入语音识别系统，通过向儿童提问问题让儿童来回答，并根据语音识别来判断回答是否正确。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于增强现实技术的儿童认知系统及认知方法，

对传统儿童识字的一种有效的补充，不仅能够解决传统儿童识字卡片枯燥无味、交互性差等缺点，而且能够很好的适应儿童好玩、好动、好奇心强的天性，发挥其模仿性强、感知灵敏及创造力非凡的特点。作为计算机图形学、虚拟现实及人工智能等前沿学科的交汇，逼真的3D模型能够很好地满足儿童的视觉需要，语音识别系统在减少繁琐操作的同时能够给予儿童语言学习方面的足够的刺激，而模式识别和虚拟则能够增强儿童的浸入性，达到更好的交互效果。另外，该平台通过语音交互，能够很好的提高儿童的听说能力，更大的提升儿童的学习能力、创新能力、沟通能力和综合素质，具有良好的社会效益。

本发明的技术解决方案：基于增强现实技术的儿童认知系统及认知方法，如图1所示包括：

图像信息录入模块：ARToolkit首先初始化摄像头参数，启动摄像头捕捉现实场景，导入矩形标记模式文件作为匹配模版，然后根据用户设定的阈值将采集到的一帧彩色图像进行二值化处理，转化为黑白二值图像。在该二值黑白图像中找出所有封闭的矩形区域，并把所有寻找出的矩形区域存储起来作为候选区域，并将候选区域图片信息存储到模版库中；

图片信息匹配模块：常用的匹配方法有：基于灰度的方法和基于特征的方法。两种方法中，后者的可靠性和鲁棒性比前者好。采用最基础和最重要的点匹配。近年来，谱图理论被广泛用于点匹配之中。采用图像内部的点亲近矩阵来进行匹配，其方法实际上就是对赋权图的邻接矩阵进行处理。将谱图分析方法和EM算法结合起来，通过点的亲近矩阵来获得点匹配的概率，提高了匹配的鲁棒性和准确性。圈是图论中基本概念，对图论的发展及应用起着及其重要的作用。利用基于圈基的谱匹配算法，首先分别对两幅待匹配的图像构造完全图，在每个完全图中寻找所有的圈基，再通过各自的圈基构造邻接矩阵；然后进行奇异值分解，利用分解所得的特征向量构造反映特征点之间匹配程度的概率矩阵；最后通过双随机矩阵计算谱匹配的概率矩阵，获得匹配的最终结果。通过多次实验，验证了该算法在标识平移、缩放、旋转、仿射变换下的可行性；

绘制模型模块：预先利用3D max绘图工具为匹配模版库中每个图像制作了3D动画模型，当图像信息匹配成功时，就打开相应的模型文件，运行对应的程序。3D图形画面的绘制效果和表现力总是受到软硬件的限制，为了增强图形的表现力，有必要对图形的优化方法进行研究。采用OpenGL ES渲染管线技术，使开发3D场景时对顶点的变换、法向量的计算、纹理坐标的变换、光照材质的应用等均由开发者使用着色器代码完成，灵活性大大提高。利用Virtools渲染平台，将3D模型和音效整合到一起，即所有的分块在Virtools平台中具体运行，Virtool将所有的工作连接起来，按照一定顺序和层级关系运作，从而完成全部工作；