[发明专利]三维场景的复现方法、系统、电子装置及存储介质有效
申请号: | 201910392509.8 | 申请日: | 2019-05-13 |
公开(公告)号: | CN110298912B | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 蒙山;严方林 | 申请(专利权)人: | 深圳市易恬技术有限公司 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06N3/084;G06N3/0464;G05D1/10 |
代理公司: | 深圳市恒申知识产权事务所(普通合伙) 44312 | 代理人: | 袁文英 |
地址: | 518000 广东省深圳市南山*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 三维 场景 复现 方法 系统 电子 装置 存储 介质 | ||
1.一种三维场景的复现方法,其特征在于,包括:
控制无人机采集室内的当前场景信息,所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据;
将所述当前场景信息进行预处理,得到预处理信息;
将所述预处理信息输入预先生成的序列生成模型,生成当前指令序列,并将所述当前指令序列发送至客户端;
客户端在接收到所述当前指令序列后,根据所述当前指令序列使用客户端对无人机发送控制指令;无人机接收到所述控制指令后,根据所述控制指令使用无人机采集室内的二维场景信息,并将所述二维场景信息发送至客户端;
在客户端根据所述二维场景信息对三维空间中的场景进行重构及复现;
所述将所述预处理信息输入预先生成的序列生成模型,生成当前指令序列包括:
预先控制并使用无人机采集室内的场景信息,得到历史场景信息,所述历史场景信息为无人机上的传感器在过去时间点采集的传感器数据,并记录无人机在此时被控制所接收的样本指令序列;
将所述历史场景信息进行预处理,并使用预处理的历史场景信息训练卷积神经网络,其中,所述预处理包括标准化及向量化;
将所述样本指令序列进行向量化,并使用向量化的样本指令序列训练第一循环神经网络;
使用第二循环神经网络将所述卷积神经网络及所述第一循环神经网络结合,以使在所述历史场景信息与所述样本指令序列相匹配后,得到序列生成模型,所述序列生成模型用于在接收到所述当前场景信息后,将当前场景信息与历史场景信息相匹配,并将与历史场景信息相匹配的样本指令序列作为所述当前场景信息相匹配的当前指令序列。
2.根据权利要求1所述的三维场景的复现方法,其特征在于,
所述将所述场景信息进行预处理,得到预处理信息包括:
将所述场景信息进行标准化,得到标准化信息;
将所述标准化信息进行向量化,得到预处理信息。
3.根据权利要求1所述的三维场景的复现方法,其特征在于,
所述控制并使用无人机采集室内的当前场景信息包括:
使用无人机自带的第一场景获取传感器采集室内的第一当前场景信息;
使用无人机挂载的第二场景获取传感器采集室内的第二当前场景信息。
4.一种三维场景的复现系统,其特征在于,包括:
当前场景信息采集模块,用于控制无人机采集室内的当前场景信息,所述当前场景信息为无人机上的传感器在当前时间点采集的传感器数据;
预处理模块,用于对所述当前场景信息采集模块采集的当前场景信息进行预处理,得到预处理信息;
指令序列生成模块,用于将所述预处理模块得到的预处理信息传输至序列生成模块,并将指令序列生成模块根据预处理信息生成的指令序列发送至客户端;
指令发送模块,用于在客户端根据所述指令序列生成模块生成的指令序列向无人机发送控制指令,以控制无人机;
二维场景采集模块,用于使用无人机根据所述指令发送模块发送的指令采集室内的二维场景信息,并将二维场景信息发送至客户端;
复现模块,用于根据所述二维场景采集模块采集的二维场景信息对三维空间中的场景进行重构及复现;
所述指令序列生成模块包括:
历史场景信息采集单元,用于预先控制并使用无人机采集室内的场景信息,所述历史场景信息为无人机上的传感器在过去时间点采集的传感器数据,得到历史场景信息,并记录无人机在此时被控制所接收的样本指令序列;
预处理单元,用于将所述历史场景信息采集单元采集的历史场景信息进行预处理,得到预处理的历史场景信息,并使用预处理的历史场景信息训练卷积神经网络,其中,所述预处理包括标准化及向量化;
向量化单元,用于将所述历史场景信息采集单元记录的样本指令序列进行向量化,并使用向量化的样本指令序列训练第一循环神经网络;
序列模型生成单元,用于使用第二循环神经网络将预处理单元的卷积神经网络及向量化单元的第一循环神经网络进行结合,以使在历史场景信息采集单元采集的历史场景信息与所述样本指令序列相匹配后,得到序列生成模型,所述序列生成模型用于在接收到所述当前场景信息采集模块采集的当前场景信息后,将当前场景信息与历史场景信息相匹配,并将与历史场景信息相匹配的样本指令序列作为所述当前场景信息相匹配的当前指令序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市易恬技术有限公司,未经深圳市易恬技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910392509.8/1.html,转载请声明来源钻瓜专利网。