[发明专利]一种基于循环神经网络的抽象状态模型构建方法

说明书

一种基于循环神经网络的抽象状态模型构建方法，其特征是在提供循环神经网络模型即及测试数据后，跟据其内部状态和转移规律进行抽象生成相应的抽象状态模型。本发明包括三个组成部分：状态向量获取，状态向量离散化，抽象状态模型构建。通过使用离散化的方式对循环神经网络内部状态向量进行简化分析，并根据循环神经网络的内部状态与转移规律抽象为一个状态模型。最终得到了抽象状态转移模型，该模型反映了原始循环神经网络的抽象状态特征。

技术领域

本发明属于软件测试领域，特别是涉及到循环神经网络的测试方法。在提供循环神经网络模型即及测试数据后，跟据其内部状态和转移规律进行抽象生成相应的抽象状态模型。

背景技术

深度学习在许多实际领域内取得了重大进展，例如图像处理、语音识别、自然语言处理和自动驾驶等。然而，最先进的深度学习系统仍然存在质量、可靠性和安全性问题，这可能会导致事故和灾难性事件。深度学习系统的早期测试对发现缺陷、提高系统质量具有重要意义。尽管传统软件的分析过程和测试技术已经很成熟，但是现有的工具不能直接应用于深度学习系统。为了检查深度学习系统中存在的潜在问题，借鉴于传统软件的测试技术，目前学术界涌现出了一系列关于卷积神经网络和全连接神经网络等前馈神经网络的测试循环神经网络（RNN）是一类具有短期记忆能力的神经网络。

然而循环神经网络并不适用于这些现有的深度学习系统测试技术。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。和前馈神经网络（FNN）相比，循环神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。与前馈神经网络相比，循环神经网络通过内部状态的循环和记忆来记录时间行为，以考虑过去或未来的观测的影响，循环神经网络的有状态特性使它在处理顺序数据如音频，文本等方面有着优秀的表现。

循环神经网络由于其通过环路实现时间行为，并通过内部状态记忆来考虑过去或未来观测的影响，从而使得其内部行为十分复杂。因此，一个显著的问题在于其输入的高维性和内部潜在特征空间的巨大性，使得训练循环神经网络时产生很多高维状态向量，这使得在有限的预算中几乎不可能测试其内部状态变化情况。

基于现有研究，本发明深度挖掘了在循环神经网络的内部状态信息。这些信息对于分析循环神经网络的潜在问题是必不可少的。因此，本发明针对于上述深度学习测试中循环神经网络内部具有回路导致内部状态难以测试的问题，通过以现有的机器学习中状态模型技术为基础，根据循环神经网络内部状态和转移规律，将其构建为一个容易分析，易于理解的抽象状态模型。抽象状态模型拟合了循环神经网络的时间观测轨迹，反应了原始模型的特征性质。构建基于状态系统的循环神经网络抽象模型构建的关键在于抽象模型的大小与精度之间进行折衷，使得抽象模型即能够有效地捕捉大量输入序列所触发的行为，更好地捕捉原始模型的特征，又能简化其内部的状态和轨迹，以便在有限的预算内完成模型测试。

发明内容

深度学习测试中循环神经网络内部具有回路导致内部状态难以测试的问题。我们的发明能够根据循环神经网络内部状态和转移规律，将其构建为一个容易分析，易于理解的抽象状态模型，以简化其内部的状态和轨迹的同时捕捉原始模型的特征，解决循环神经网络难以测试问题。

本发明的技术方案为：一种基于循环神经网络的抽象状态模型构建的方法，其特征是能够根据循环神经网络模型即及测试数据生成一个抽象状态模型。该生成方法包含以下三个步骤：