[发明专利]用于优化机器学习架构的框架

说明书

本公开涉及用于自动且高效地找到针对一个或多个指定性能度量和/或硬件平台而被优化的机器学习（ML）架构的框架。该框架提供了ML架构，该ML架构适用于指定ML领域，并且相比可以手动操作完成在显著较少时间中和相比现有ML模型搜索技术在较少时间中，针对指定硬件平台而被优化。此外，提供了用户界面，其允许用户基于修改的搜索参数（诸如不同的硬件平台方面和/或性能度量）来搜索不同的ML架构。可描述和/或要求保护其它实施例。

技术领域

本文中所描述的实施例一般涉及人工智能（AI）、机器学习（ML）和神经架构搜索（NAS）技术，并且尤其涉及用于优化AI/ML架构的技术。

背景技术

机器学习（ML）是对通过经验和通过使用数据而自动改进的计算机算法的研究。执行机器学习涉及创建统计模型（或简称为“模型”），所述统计模型被配置成处理数据以做出预测和/或推理。ML算法使用样本数据（称为“训练数据”）和/或基于过去的经验来建立模型，以便在没有被明确编程为这么做的情况下做出预测或决策。

ML模型设计是漫长的过程，其涉及用于调整给定ML模型的结构、参数和/或超参数的训练和验证的高度迭代循环。对于诸如深度神经网络（DNN）等的较大ML架构，训练和验证可能是特别耗时且资源密集的。传统的ML设计技术还可能需要超出许多用户的能力范围（beyond the reach of many users）的相对大量的计算资源。

ML模型在资源消耗、速度、准确度和其它性能度量方面的效率部分基于用于ML模型的模型参数和/或超参数（hyperparameter）的数量和类型。对模型参数和/或超参数的改变能够极大地影响给定ML模型的性能。尤其是，减少参数的数量可能降低模型的准确度，但与模型具有大量参数相比，可允许模型运行得更快并使用更少的存储器。

代替手动设计ML模型，可使用神经架构搜索（NAS）算法来自动发现用于特定任务的理想ML模型（参见例如Abdelfattah等人的“Zero-Cost Proxies for LightweightNAS”，ArXiv abs/2101.08134（2021年1月20日）（“[Abdelfattah]”））、Liu等人的“DARTS：Differentiable Architecture Search”，arXiv：1806.09055v2 [cs.LG]（2019年4月23日）（“[Liu]”）、Cai等人的“Once-for-All： Train One Network and Specialize it forEfficient Deployment”，arXiv：1908.09791v5 [cs.LG]（2020年4月29日）（“[Cai1]”）、以及Cai等人的“ProxylessNAS： Direct Neural Architecture Search on Target Taskand Hardware”，arXiv：1812.00332v2 [cs.LG]（2019年2月23日）（“[Cai2]”））。NAS是将架构工程自动化的过程。然而，NAS也可能是耗时且计算密集的；通常，使用NAS可能花费许多小时或许多天来完全训练单个神经网络（参见[Abdelfattah]）。另一种解决方案涉及训练超级转换器（SuperTransformer）来执行进化型搜索（参见例如Wang等人的“HAT:Hardware-Aware Transformers for Efficient Natural Language Processing”，arXiv:2005.14187v1 [cs.CL]（2020年5月28日）（“[Wang]”））。然而，此解决方案与基于NAS的解决方案遭受相同的缺陷。