[发明专利]一种基于张量的高效Transformer的架构方法

说明书

本发明适用人工智能领域，提供了一种基于张量的高效Transformer的架构方法，本发明通过权重矩阵拼接和张量多模态分解方法设计了三个即插即用的轻量级Transformer组件，通过利用三个轻量级的Transformer组件，构建了LTensorized_transformer和LTensorized_transformer++，从而使得轻量级的Transformer模型能够部署到资源受限的工业嵌入式设备上。

技术领域

本发明属于人工智能领域，尤其涉及一种基于张量的高效Transformer的架构方法。

背景技术

随着人工智能技术、通信技术和电子芯片技术的快速发展，工业物联网将绿色基础设施、智慧城市、智慧医疗、智能电网和智能交通系统中的智能移动设备、可穿戴设备、传感器等数百亿终端设备紧密的连接了起来，提供了更为智能的服务，使得人们的生产生活变得更加便捷。然而，工业物联网会产生体量庞大的多源异构数据，其次，由于深度神经网络模型表现出的优异性能，因此，深度神经网络模型被广泛的应用于特征提取和智能决策。然而，由于任务的复杂性和庞大的数据量，通常需要采用大型的深度神经网络模型对数据进行训练，从而获得优异的任务性能。

Transformer作为目前较为受欢迎的深度神经网络模型，已被广泛的应用于工业物联网。Transformer完全抛弃了卷积模块和循环模块的设计理念，该网络模型仅由注意力层和全连接层构成。Transformer以及衍生出来的其他模型，例如BERT、VIT、GPT和Universal Transformer等在自然语言处理、计算机视觉、推荐系统、智能交通等方面取得了优异的任务性能。然而，这些网络模型的规模都十分庞大，通常包含了数亿个训练参数，因此需要高性能的芯片花费几周甚至几个月来训练这些网络模型。所以，在网络模型的训练过程中会消耗大量的计算资源和能源资源。此外，随着联邦学习范式的出现和实时性应用需求的增加，智能移动设备和其他嵌入式设备需要参与到智能任务的训练和决策。然而，智能移动设备和其他嵌入式设备的芯片性能通常较差且高性能芯片体型庞大，无法将其安装在边缘设备上。因此，现有的规模庞大的深度神经网络模型无法在智能移动设备和其他嵌入式设备上进行训练和部署。此外，在联邦学习范式中，各个客户端需要上传网络模型数据到云端，然后在云端完成模型融合过程。然而，由于网络模型规模庞大且在上传过程中为了保护网络模型的数据安全，需要利用加密方法对模型数据进行加密。对网络模型进行加密可以有效防止隐私泄露，但是进一步增加了通信数据量。为了减少联邦学习过程中的通信数据量，降低带宽占用和提高通信效率，如何降低网络模型中的训练参数数量则变得尤为重要。此外，在交通标识识别和故障检测等一些实时性应用中，将数据上传到云端过程中容易遭受到网络攻击，从而导致隐私泄露和安全事故。而且，将数据上传到云端、云端处理数据和云端下发结果到终端需要消耗一定的时间，因而，会造成时延增大，从而不满足实时性任务的需求。综上所述，将计算任务卸载到云端不是最好的选择。此外，规模庞大的网络模型在训练过程中会消耗大量的能源资源，增大了碳排放量，加剧了全球坏境的恶化。因此，如何在保证网络模型性能不变的前提下或精度损失在可容忍范围内，大规模降低深度神经网络模型中的训练参数数量和浮点运算操作，加快网络模型的训练过程，降低训练过程中的能源消耗，以便部署到资源受限的边缘设备上是一个亟需解决的问题。幸运的是，规模庞大的网络模型中通常存在大量的冗余学习参数和浮点操作，因此可以将网络模型中的冗余部分剔除，从而降低模型的学习参数数量和计算复杂度，加快模型的训练过程，减少电力资源的消耗，推动绿色经济的发展。