[发明专利]基于聚类的深度学习模型压缩方法、存储介质及系统

说明书

本发明公开了一种基于聚类的深度学习模型压缩方法、存储介质及系统，涉及数据压缩处理领域，该方法包括实时获取直播视频数据；创建一深度学习模型用于对实时获取的直播视频数据进行压缩，并在压缩过程中依次获取创建的深度学习模型中各layer的权值和权值维度；判断当前所获取layer的权值维度是否大于设定阈值：若是，则采用分桶的有损粗量化方法，降低当前layer的权值维度，并记录降低维度后的权值索引；若否，则记录当前layer的权值索引，并对当前layer的权值进行聚类量化编码，记录聚类完成后的聚类中心和聚类索引；压缩完成后的数据存储至直播平台服务器。本发明能够高效、更精准的进行深度学习模型压缩，有效保证压缩效果。

技术领域

本发明涉及数据压缩处理领域，具体涉及一种基于聚类的深度学习模型压缩方法、存储介质及系统。

背景技术

随着互联网行业的飞速发展，其所产生的语音、图像及视频数据信息呈指数增长，随着数据量的增加，如何在海量信息中快速、精准的对模型进行压缩，以节约数据资源的上传、下载和存储空间，成为当前的一个难点，此种情形下，深度学习模型压缩方法应运而生。

但是，传统的深度学习模型压缩方法，其是直接将浮点型权值转为半精度浮点型权值，或是将浮点型权值转为8bit整型权值，忽视了模型精度，因此仅能对精度要求不高的应用场景进行深度学习模型压缩。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于聚类的深度学习模型压缩方法、存储介质及系统。引入聚类量化进行权值的无监督学习，能够高效、更精准的进行深度学习模型压缩，有效保证压缩效果。

本发明第一方面提供一种基于聚类的深度学习模型压缩方法，包括以下步骤：

实时获取直播间的直播视频数据；

创建一深度学习模型用于对实时获取的直播视频数据进行压缩，并在压缩过程中依次获取创建的深度学习模型中各layer的权值和权值维度；

判断当前所获取layer的权值维度是否大于设定阈值：

-若是，采用分桶的有损粗量化方法，降低当前layer的权值维度，并记录降低维度后的权值索引；

-若否，记录当前layer的权值索引，并对当前layer的权值进行聚类量化编码，记录聚类完成后的聚类中心和聚类索引；

压缩完成后的直播视频数据存储至直播平台服务器。

结合第一方面，在第一种可能的实现方式中，所述layer的权值表示为：

其中，w_layer表示layer的权值，n表示layer的权值维度，表示layer所有权值中的其中一权值。

结合第一方面的第一种可能实现方式，在第二种可能的实现方式中，所述降低当前layer的权值维度，具体公式为：

其中，i为layer的权值索引，为layer第i维的权值，为layer降低维度后第i维的权值，m为期望粗量化后的维度。

结合第一方面的第二种可能实现方式，在第三种可能的实现方式中，所述期望粗量化后的维度m的计算公式为：

结合第一方面的第三种可能实现方式，在第四种可能的实现方式中，所述记录当前layer的权值索引，还包括对当前layer的权值进行取值合并，具体公式为：

其中，wⁱ为取值合并后当前layer的权值，T为设定阈值。