[发明专利]三维场景的复现方法、系统、电子装置及存储介质

说明书

本发明公开了一种三维场景的复现方法、系统电子装置及存储介质，涉及图像处理技术领域，用于复现室内的三维场景，解决了现有技术中的STEAM教育器具不能对三维空间中的场景复现的问题，包括：控制无人机采集室内的当前场景信息；将当前场景信息进行预处理，得到预处理信息；将预处理信息输入预先生成的序列生成模型，生成当前指令序列；客户端根据当前指令序列使用客户端对无人机发送控制指令；无人机接收到控制指令后，采集室内的二维场景信息，并将二维场景信息发送至客户端；在客户端根据二维场景信息对三维空间中的场景进行重构及复现；而在客户端对三维空间中的场景的重构及复现后，能够给予学习者真实的场景体验及良好的学习体验。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维场景的复现方法、系统电子装置及存储介质。

背景技术

在近年来，STEAM教育逐渐在市场上兴起，STEAM是一种教育学科，代表科学(Science)，技术(Technology)，工程(Engineering)，艺术(Arts)，数学(Mathematics)，而STEAM本身，也是上述五种代表的英文首字母缩写。STEAM教育就是集科学，技术，工程，艺术，数学多学科融合的综合教育。

目前的STEAM教育课堂中的教育器具，主要是以乐高机器人为代表的机器人产品。这些教育器具越来越高度集成化，用户可以通过在教育器具提供的终端界面进行可视化操作，操作结果将会以控制指令的方式传输到教育器具装置，教育器具装置再根据接收到的操作控制指令进行相应的场景操作。

但是，现有的教育器具的操作方式，只是便于使用教育器具的人操作，不能够对实际三维空间中的场景进行复现，因此不能给予学习者真实的场景体验及良好的学习体验。

发明内容

本发明的主要目的在于提供一种三维场景的复现方法、系统电子装置及存储介质，旨在解决现有技术中的STEAM教育器具不能对实际三维空间中的场景进行复现而不能给予学习者真实的场景体验及良好的学习体验的技术问题。

为实现上述目的，本发明第一方面提供一种三维场景的复现方法，包括：控制无人机采集室内的当前场景信息，所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据；将所述当前场景信息进行预处理，得到预处理信息；将所述预处理信息输入预先生成的序列生成模型，生成当前指令序列，并将所述当前指令序列发送至客户端；客户端在接收到所述当前指令序列后，根据所述当前指令序列使用客户端对无人机发送控制指令；无人机接收到所述控制指令后，根据所述控制指令使用无人机采集室内的二维场景信息，并将所述二维场景信息发送至客户端；在客户端根据所述二维场景信息对三维空间中的场景进行重构及复现。

进一步地，所述序列生成模型的生成方法包括：预先控制并使用无人机采集室内的场景信息，得到历史场景信息，所述历史场景信息为无人机上的传感器在过去时间点采集的传感器数据，并记录无人机在此时被控制所接收的样本指令序列；将所述历史场景信息进行预处理，得到预处理的历史场景信息，并使用预处理的历史场景信息训练卷积神经网络，其中，所述预处理包括标准化及向量化；将所述样本指令序列进行向量化，并使用向量化的样本指令序列训练第一循环神经网络；使用第二循环神经网络将所述卷积神经网络及所述第一循环神经网络结合，以使在所述历史场景信息与所述样本指令序列相匹配后，得到序列生成模型，所述序列生成模型用于在接收到所述当前场景信息后，将当前场景信息与历史场景信息相匹配，并将与历史场景信息相匹配的样本指令序列作为所述当前场景信息相匹配的当前指令序列。

进一步地，所述将所述场景信息进行预处理，得到预处理信息包括：将所述场景信息进行标准化，得到标准化信息；将所述标准化信息进行向量化，得到预处理信息。

进一步地，所述控制并使用无人机采集室内的当前场景信息包括：使用无人机自带的第一场景获取传感器采集室内的第一当前场景信息；使用无人机挂载的第二场景获取传感器采集室内的第二当前场景信息。