[发明专利]一种AR儿童情景扮演投影教学方法及系统

摘要

本发明公开了一种AR儿童情景扮演投影教学方法及系统，其中，方法包括：采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音；识别AR互动卡片图像的信息，调用对应的3D情景剧模板，3D情景剧模板包括3D角色模型和背景模型，3D角色模型由面部模型和肢体模型组成；将用户面部图像切割后合成到面部模型；将用户实时肢体动作数据与肢体模型进行数据交互，控制3D角色模型的肢体运动；将调用的3D情景剧模板转化为投影投射在屏幕。有益效果：通过将面部图像合成到面部模型，将用户肢体动作数据与肢体模型交互，让情景剧中的角色拥有用户的部分面部特征，且可以根据用户的动作而做出相应动作，人机交互、故事浸入感很强。

主权项

1.一种AR儿童情景扮演投影教学方法，其特征在于，包括：S1、采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集所述用户实时肢体动作数据；S2、识别所述AR互动卡片图像的信息，调用所述AR互动卡片对应的3D情景剧模板，所述3D情景剧模板包括3D角色模型和背景模型，所述3D角色模型由面部模型和肢体模型组成，所述背景模型为动态或者静态；S3、对所述用户面部图像进行切割，将切割后的面部图像合成到所述3D角色模型的所述面部模型，其包括使用Molioopencv技术处理所述用户面部图像，识别出人脸轮廓，然后对眼睛、嘴巴、鼻子进行标记切割，且在将切割后的面部图像合成到所述3D角色模型的所述面部模型之前，将切割后的面部图像进行Q版化的后期处理；S4、将所述用户实时肢体动作数据与所述3D角色模型的所述肢体模型进行数据交互，控制所述3D角色模型的肢体运动；S5、对所述用户语音进行变声处理；S6、将S2中调用的所述3D情景剧模板转化为投影投射在投影屏幕上，其中，所述背景模型转化为动态或者静态的背景投影，所述3D角色模型根据所述用户实时肢体动作相应地转化为动态的3D角色投影，投影的同时播放变声处理后的所述用户语音。