[发明专利]基于信道注意力和级联提前退出的分布外检测系统及方法

说明书

本发明公开了一种基于信道注意力和级联提前退出的分布外检测系统及方法，系统包括神经网络结构，通过将TinyOOD检测器设置于该神经网络结构的每个卷积层的输出侧，同时在TinyOOD检测器中引入基于信道注意力机制的NMD模型，即CA‑NMD，可以使用NMD矢量来表示挤压步骤的结果，减少了计算消耗，同时，信道注意力机制考虑了不同信道的重要性，具有更好的性能，因此，该更轻量的分布外检测系统应用更广泛，在检测方法中，通过将多个TinyOOD检测器相连，并传递CA‑NMD矢量，可以细化逻辑回归检测模型的输入，同时加入TinyOOD动态决策，可以实现在不增加本地设备推理延迟的情况下，将任务上传至云端执行，可以大幅提高推理准确度。

技术领域

本发明涉及机器学习领域，具体涉及一种基于信道注意力和级联提前退出机制的分布外检测系统及方法。

背景技术

微型机器学习(TinyML)是一个快速发展的领域，包括嵌入式系统和机器学习交叉领域的研究和开发。TinyML的目标是将机器学习推理应用于功耗极低(～1mW)、价格便宜(约1美元)并且体积很小(～1cm3)的单片机单元(MCU)，最近，TinyML在嵌入式设备上得到了广泛的普及，这些设备无处不在并且可以实时处理传感器数据。

然而，在复杂多变的现实世界中，TinyML应用接收到的输入数据可能会与训练数据不同。这些输入样本被称为OOD样本。这些OOD样本将TinyML应用变得不可靠,不安全。因此，检测OOD样本的能力对于TinyML应用进程的部署至关重要。

目前,已经开发了许多用于OOD检测的方法。其中一种用于深度生成模型的似然比方法，可以有效地检测远离训练分布的数据实例，ODIN向输入添加小扰动，并平滑softmax分数，以分离分布内和分布外输入的softmax分数分布。然而，这些方法通常会产生大量的开销，这是TinyML无法接受的。为了解决这个问题，标准的现成模型已经包含了足够的训练数据集的数据分布信息，基于这一观察结果，技术人员提出了神经平均差异(NMD)度量，该度量可以利用模型隐藏层信息进行可靠的OOD检测，虽然NMD方法减少了OOD检测的资源消耗，但它仍然依赖于最后一层的输出，并且需要对任何给定的输入进行完整的前向推理，处理过程复杂且耗时。

发明内容

针对上述存在的问题，本发明的目的在于提供一种基于信道注意力和级联提前退出的分布外检测系统及方法，达到的目的。

为实现上述目的，本发明提供了一种基于信道注意力和级联提前退出的分布外检测系统，包括神经网络结构，所述神经网络结构包括多个卷积层，每个所述卷积层的输出侧均连接设置有TinyOOD检测器，多个所述TinyOOD检测器分别连接有一个级联提前退出分支，多个所述TinyOOD检测器顺序连接。

进一步，所述TinyOOD检测器包括CA-NMD模型和逻辑回归预测模型。

进一步，所述CA-NMD模型为将信道注意力机制应用于原始NMD模型。

本实施例的另一方面发明了应用于上述分布外检测系统的分布外检测方法，包括以下步骤：

S1：样本输入神经网络结构；

S2：经卷积层提取后的样本特征输入TinyOOD检测器；

S3：TinyOOD检测器通过CA-NMD模型对输入样本进行运算并得出CA-NMD矢量；

S4：逻辑回归预测模型通过CA-NMD矢量和前一次传递至当前卷积层的CA-NMD矢量预测输入的样本类型是否为分布外样本；

S5：TinyOOD检测器执行TinyOOD动态决策。

进一步，步骤S3中CA-NMD矢量的计算方法包括以下步骤：

S31:挤压步骤，将信道的全局空间信息挤压到信道描述符中；