[发明专利]具有深度学习传感器的增强现实显示装置

权利要求书

1.一种用于训练神经网络以确定多个不同类型的事件的系统，所述系统包括：

非暂时性计算机可读存储器，其存储可执行指令；以及

一个或多个处理器，其由所述可执行指令编程以至少：

接收不同类型的传感器数据，

其中，所述传感器数据与多个不同类型的事件相关联；以及其中，所述不同类型的传感器数据包括：惯性测量单元数据、图像数据、深度传感器数据、声音数据、语音数据、或其任何组合，

生成训练集，所述训练集包括所述不同类型的传感器数据作为输入数据和所述多个不同类型的事件作为对应的目标输出数据；以及

使用所述训练集，训练神经网络以确定多个不同类型的事件，

其中，所述神经网络包括：用于接收所述神经网络的输入的输入层、多个中级层、以及用于输出所述神经网络的结果的多个头部分量，其中，所述输入层被连接到所述多个中级层中的第一层，

其中，所述多个头部分量中的头部分量包括头部输出节点，以及

其中，所述头部输出节点通过多个头部分量层被连接到所述中级层中的最后一层。

2.根据权利要求1所述的系统，其中，所述多个不同类型的事件包括：面部识别、视觉搜索、手势识别、语义分割、对象检测、照明检测、同时定位和构建地图、重定位、或其任何组合。

3.根据权利要求1所述的系统，其中，所述多个中级层包括多个下层和多个中间层，

其中，训练所述多个下层以从所述不同类型的传感器数据中提取较低级别特征，以及

其中，训练所述多个中间层以从被提取的所述较低级别特征中提取较高级别特征。

4.根据权利要求1所述的系统，其中，所述多个中级层或所述多个头部分量层包括：卷积层、亮度归一化层、批归一化层、修正线性层、上采样层、池化层、级联层、完全连接层、线性完全连接层、软设计层、循环层、或其任何组合。

5.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步由所述可执行指令编程为至少：

接收第二不同类型的传感器数据，

其中，所述第二不同类型的传感器数据与第二不同类型的事件相关联；

其中，所述第二不同类型的传感器数据包括：惯性测量单元数据、图像数据、深度传感器数据、声音数据、语音数据、或其任何组合；

生成重新训练集，所述重新训练集包括所述第二不同类型的传感器数据作为输入数据和所述第二不同类型的事件作为对应的目标输出数据；以及

使用所述重新训练集，重新训练所述神经网络以确定所述第二不同类型的事件，

其中，所述多个头部分量中的第二头部分量包括第二头部输出节点，所述第二头部输出节点用于输出与所述第二不同类型的事件相关联的结果，以及

其中，所述头部输出节点通过多个第二头部分量层被连接到所述中级层中的所述最后一层。

6.根据权利要求5所述的系统，其中，为了重新训练所述神经网络，所述一个或多个处理器由所述可执行指令编程为至少：更新与所述多个第二头部分量层相关联的权重。

7.根据权利要求5所述的系统，其中，在不更新与所述多个中级层相关联的权重的情况下，重新训练所述神经网络。

8.根据权利要求1所述的系统，

其中，所述多个不同类型的传感器数据与第二不同类型的事件相关联，以及

其中，所述一个或多个处理器进一步由所述可执行指令编程为至少：

生成重新训练集，所述重新训练集包括所述不同类型的传感器数据作为输入数据和所述第二不同类型的事件作为对应的目标输出数据；以及

使用所述重新训练集，重新训练所述神经网络以确定所述第二不同类型的事件。