[发明专利]增强现实移动终端

摘要

本发明公开了一种增强现实移动终端。包括增强现实实时计算处理单元、虚拟位置控制转化单元、实时图像渲染显示单元、实时音视频录制单元、分享交流单元。本发明所采用的多标签标记技术标签的定位的精度和可靠性高；采用了独有的音视频录制功能，方便交流和传播；拥有分享交流平台，使其传播方位、播放量等等大幅度提高；采用的陀螺仪、加速度计、计算机图形图像等相结合的技术，主要针对解决视频拍摄的多样性问题，通过增强现实技术的融合。

主权项

1.一种增强现实移动终端，其特征在于包括：增强现实实时计算处理单元，摄像头拍摄画面，通过计算机视觉技术捕获指定的标记点，最后计算标记点的位置和方向；虚拟位置控制转化单元，通过先获取陀螺仪短时间内的起始点和终止点的坐标数据，然后获取转化比例值，最后通过计算转化比例值得到虚拟世界中控制模块的坐标变换数值；实时图像渲染显示单元，将摄像头实时捕获的画面和虚拟世界渲染后的画面合成叠加后最终显示；分为摄像头画面渲染显示模块和特效实时渲染显示模块，摄像头画面渲染显示模块实时采集图像每隔固定时间t后，检测当前视频帧是否填充满，如果填充满则刷新；特效实时渲染显示模块是根据当前虚拟世界控制点来实时渲染；当摄像头画面渲染和特效实时渲染完成后，进行实时合成并输出显示；实时音视频录制单元，用于操作过程中的画面和声音的实时录制，采用多中断的音视频录制方法进行实时音视频录制合成；增强现实实时计算处理单元拍摄画面，通过计算机视觉捕获3个标记点，最后计算虚拟位置标记点Pc(x,y)所在的位置和方向，具体如下：通过左上、右上、下方三个标记点定位虚拟位置，其中左上标记点Pl(x1,y1)，右上标记点Pr(x2,y2)，下方标记点Pb(x3,y3)，通过三个标记点定位计算得到虚拟位置Pc(x,y)：(x‑x1)2+(y‑y1)2＝d12(x‑x2)2+(y‑y2)2＝d22(x‑x3)2+(y‑y3)2＝d32所述的虚拟位置控制转化单元包括：获取起始矩阵模块，用于先获取短时间(Ts‑Te)内的起始(Ps)和终止点(Pe)的坐标矩阵、角速度矩阵；获取转化比例值模块，用于获取转化比例值(Φ)，转化比例值是通过增强现实计算出后得到的一个比例系数；转化模块，用于通过转化比例值得出虚拟世界的控制模块的旋转、平移的偏移值；转化矫正模块，用于使用线性回归算法矫正转化偏差；所述的摄像头画面渲染显示模块包括:采集视频流模块，调用智能手机的摄像头，获取实时连续的视频流；视频流数据缓存模块，用于缓解各个模块之间的处理速度不同将视频图像数据进行缓存；画面预处理模块，对画面进行预处理；所述的特效实时渲染显示模块为粒子特效渲染显示；所述的特效实时渲染显示模块包括：压缩的素材文件包解析模块，将素材文件包进行解压操作，使之成为能被识别的文件格式和文件布局；特效规则预设模块，将特效素材包解析后的素材文件按照预先设定的规则导入到软件，并进行各种参数预设；特效素材包合成显示模块，将实时采集显示的视频画面根据预设特效规则的特效素材包进行合成并显示；所述的实时图像渲染显示单元是将摄像头实时捕获的画面和虚拟世界渲染后的画面合成叠加，具体包括：画面合成模块，将特效画面和视频帧进行画面合成操作，得到用于输出的渲染画面；渲染树模块，存储渲染画面等构成的渲染树存储结构；画面抓取模块，将渲染后的画面地址进行强制性获取，通过地址访问并保存该地址所包含的画面数据；画面的绘制模块，是将渲染得到的图片绘制到用于显示的内存中；画面的显示模块，将绘制在内存中的信息，显示到屏幕；实时音视频录制单元具体包括：录制预处理模块，在音频视频录制之前进行初始化操作；录制音频片段拼接模块，对录制音频片段进行无缝拼接；读入背景音频模块，将特效等素材资源里面的背景音频文件提出并读写到内存；混合音频模块，将拼接的PCM文件和读入的背景音频文件进行混合，使其组合成一段完整的音频文件；转AAC格式模块，将混合后的PCM文件转化为AAC格式的音频文件；启动视频录制模块，打开获取画面地址的通道开启视频录制；获取画面地址模块，将渲染画面缓冲的地址，传入到地址转化通道；画面预处理模块，对原始画面进行一系列的缩放、旋转、翻转和格式转化预处理操作；RGB格式转YUV420模块，将所有操作的画面帧由RGB格式转化为YUV420格式；H264压缩模块，视频采用H264编码压缩；保存画面帧模块，将画面帧写在缓存中进行保存；MP4打包模块，打包MP4是将之前步骤生成的AAC音频文件和H264视频文件进行重新封装，并不会重新编码视频、音频或者是静止状态图像；增强现实移动终端还包括分享交流单元，手机客户端、网页服务器、视频文件存储服务器和数据库的服务器均采用集群的方式部署用于数据交换。