[发明专利]一种基于量化的长文本问答推理方法、设备及介质

权利要求书

1.一种基于量化的长文本问答推理方法，其特征在于，包括：

获取训练数据，根据所述训练数据训练得到Longformer模型；

确定所述Longformer模型的模型结构，并根据所述模型结构确定所述Longformer模型的量化粒度，根据所述量化粒度对所述Longformer模型进行量化；

确定所述Longformer模型的量化裁减范围，并对所述量化裁减范围进行优化，从而将所述Longformer模型量化至INT8数据类型，得到整型模型；

将所述整型模型部署到服务器上，以通过所述整型模型对长文本问答任务进行推理。

2.根据权利要求1所述的方法，其特征在于，确定所述Longformer模型的模型结构，并根据所述模型结构确定所述Longformer模型的量化粒度，具体包括：

确定所述Longformer模型的注意力机制，将所述注意力机制的窗口作为第一量化粒度；

确定所述Longformer模型的嵌入层、前馈层，将所述嵌入层和所述前馈层的张量作为第二量化粒度。

3.根据权利要求2所述的方法，其特征在于，根据所述量化粒度对所述Longformer模型进行量化，具体包括：

O＝X₁X₂+B，其中，O为所述注意力机制、所述嵌入层和所述前馈层的线性层，X₁和X₂为模型输入的量化矩阵，B为预先设定的计算偏置。

4.根据权利要求3所述的方法，其特征在于，确定所述Longformer模型的量化裁减范围，从而将所述Longformer模型量化至INT8数据类型，具体包括：

设定Q_α(α∈{1,2})表示为X_α量化版本；

Q_B＝|Bs₁s₂||；

其中，s_α为X_α的量化因子，clipping_range(X_α)为X_α的裁减范围，Q_B为中间计算量。

5.根据权利要求1所述的方法，其特征在于，对所述量化裁减范围进行优化，具体包括：

确定所述量化裁剪范围的分位数和均方误差，根据所述分位数和所述均方误差对所述量化裁剪范围进行优化。

6.根据权利要求5所述的方法，其特征在于，根据所述分位数和所述均方误差对所述量化裁剪范围进行优化，具体包括：

r＝percentile(X,p)；

其中，X为量化矩阵，p为矩阵X百分位，r为裁剪范围上限，x为矩阵X的元素，clip(x)为矩阵X中元素x裁剪后的值，mse(X)为矩阵X和量化后的X的均方误差，其中，量化后的X为

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

其中，N为矩阵X元素的个数，p_min为p的最小值；

将所述p从所述p_min开始遍历取值，每次取值加1，直到所述mse(X)不再减小为止，得到最优的p，从而得到得到最优的裁剪范围。

8.根据权利要求2所述的方法，其特征在于，一个所述张量包含多个所述窗口；

所述第一量化粒度使用所述窗口作为矩阵进行量化；

所述第二量化粒度使用所述张量作为矩阵进行量化。

9.一种基于量化的长文本问答推理设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述一种基于量化的长文本问答推理设备能够执行：如权利要求1-8中任意一项权利要求所述的方法。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：如权利要求1-8中任意一项权利要求所述的方法。