[发明专利]传感器融合

说明书

本发明题为“传感器融合”。根据一个方面，一种用于与长短期记忆(LSTM)单元相关联的传感器融合的方法可以包括：基于来自第一传感器的第一传感器编码来生成第一调节传感器编码；基于来自第二传感器的第二传感器编码来生成第二调节传感器编码；基于该第一调节传感器编码和该第二调节传感器编码来生成融合结果；基于该融合结果和该第一调节传感器编码来生成第一乘积；基于该第二调节传感器编码来生成第二乘积；以及基于该第一乘积和该第二乘积来生成融合状态。

背景技术

长短期记忆(LSTM)是用于深度学习或机器学习的人工递归神经网络(RNN)架构。LSTM单元会记住在任意时间间隔上的值，并调节信息流入和流出LSTM单元。在反向传播期间，递归神经网络可能经受梯度消失的问题。梯度是用于更新神经网络权重的值。当梯度随着时间向后传播而缩小时，发生梯度消失问题。如果梯度值变得非常小，则梯度可能不会有助于学习。

发明内容

根据一个方面，用于传感器融合的长短期记忆(LSTM)单元可以包括第一遗忘门、第二遗忘门、第一输入门、第二输入门、第一输出门、第二输出门、隐藏状态门和单元状态门。第一遗忘门可以接收第一传感器编码和第一共享隐藏状态h_t-1。第二遗忘门可以接收第二传感器编码和第一共享隐藏状态h_t-1。第一输入门可以接收第一传感器编码和第一共享隐藏状态h_t-1。第二输入门可以接收第二传感器编码和第一共享隐藏状态h_t-1。第一输出门可以基于第一共享单元状态c_t-1、第一传感器编码和第一共享隐藏状态h_t-1来生成第一输出。第二输出门可以基于第一共享单元状态c_t-1、第二传感器编码和第一隐藏状态h_t-1来生成第二输出。隐藏状态门可以基于第一输出和第二输出来生成第二共享隐藏状态h_t。单元状态门可以基于第一遗忘门的输出、第二遗忘门的输出、第一输入门的输出以及第二输入门的输出来生成第二共享单元状态c_t。

第一遗忘门或第二遗忘门可以采用S函数以分别生成第一遗忘门的输出或第二遗忘门的输出。第一遗忘门的输出第一输入门或第二输入门可以采用S函数、双曲正切函数(tanh)或逐元素乘积函数以分别生成第一输入门的输出或第二输入门的输出。第一输入门的输出第一输出门或第二输出门可以采用S函数、双曲正切函数(tanh)或逐元素乘积函数以分别生成第一输出门的输出或第二输出门的输出。第一输出门的输出隐藏状态门可以通过计算第一输出和第二输出的逐元素求和来生成第二共享隐藏状态h_t。

LSTM单元内的第一架构可以包括第一遗忘门、第一输入门和第一输出门。LSTM单元内的第二架构可以包括第二遗忘门、第二输入门和第二输出门。第一架构可以与第二架构并行地实现。第一架构可以生成第一部分共享单元状态第二架构可以生成第二部分共享单元状态单元状态门可以通过计算第一部分共享单元状态和第二部分共享单元状态的逐元素求和来生成第二共享单元状态c_t。

根据一个方面，用于与长短期记忆(LSTM)神经网络相关联的传感器融合的方法可以包括：在第一遗忘门处接收第一传感器编码和第一共享隐藏状态h_t-1；在第二遗忘门处接收第二传感器编码和第一共享隐藏状态h_t-1；在第一输入门处接收第一传感器编码和第一共享隐藏状态；在第二输入门处接收第二传感器编码和第一共享隐藏状态h_t-1；基于第一共享单元状态c_t-1、第一传感器编码以及第一共享隐藏状态h_t-1在第一输出门处生成第一输出；基于第一共享单元状态c_t-1、第二传感器编码以及第一隐藏状态h_t-1在第二输出门处生成第二输出；基于第一输出和第二输出在隐藏状态门处生成第二共享隐藏状态h_t；并基于第一遗忘门的输出、第二遗忘门的输出、第一输入门的输出和第二输入门的输出在单元状态门处生成第二共享单元状态c_t。