[发明专利]用于生成神经网络的二值化权重的处理器和方法

权利要求书

1.一种用于生成神经网络的二值化权重的处理器，所述处理器包括：

二值化方案生成模块，所述二值化方案生成模块被配置为：

将所述神经网络的一个或多个层的一组输入权重划分为多个权重分组；以及

针对每个权重分组生成用于表示所述权重分组的一个或多个候选二值权重串；

二值化方案选择模块，所述二值化方案选择模块被配置为：

针对所述多个权重分组中的至少一个权重分组根据预定编码方法确定用于表示所述至少一个权重分组的至少两个候选二值权重串的编码长度；以及

至少部分基于所确定的编码长度从所述至少两个候选二值权重串中选择表示所述至少一个权重分组的二值权重串，

其中，所述预定编码方法根据预定序列从多个编码方案中选择每个权重分组的编码方案；以及

权重生成模块，所述权重生成模块被配置为输出表示所述选定的二值权重串的数据。

2.如权利要求1所述的处理器，其中，所述编码方案将二值权重模式映射到码字，并且其中，不同的编码方案将至少一个相同的二值权重模式映射到不同的码字。

3.如权利要求1或2所述的处理器，其中，所述编码方案中的至少一些编码方案是不平衡的，并且所述预定序列在所述多个权重分组上平衡所述编码方案，使得所述神经网络的所述一组输入权重在二值化后整体上是平衡的。

4.如权利要求3所述的处理器，其中，所述预定规则使得输入权重在二值化后对于所述神经网络的每一层都是平衡的。

5.如权利要求3或4所述的处理器，其中，与基于所述权重的符号执行二值化的情况相比，根据所述不平衡的编码方案的被选择用于表示所述一组输入权重的二值权重串具有明显不同的高比特与低比特的比率。

6.如权利要求3至5中任一项所述的处理器，其中，与基于所述权重的符号执行二值化的情况相比，当被选择用于表示所述一组输入权重的二值权重串具有基本相同的高比特与低比特的比率时，所述一组输入权重在二值化后是平衡的。

7.如以上权利要求中的任一项所述的处理器，其中，每个编码方案将最短长度的码字分配给选定的权重模式，每个编码方案将所述最短长度的码字分配给不同的权重模式。

8.如权利要求7所述的处理器，其中，所述编码方案的预定序列使得所述预定序列的一个完整循环中与依次选择的所述编码方案相关联的选定权重模式的组合中的高比特与低比特的比率等于预定比率。

9.如以上权利要求中的任一项所述的处理器，其中，所述方案选择模块被配置为基于根据第一编码方案确定的编码长度选择一个权重分组的二值权重串，并且基于根据第二编码方案确定的编码长度选择另一权重分组的二值权重串。

10.如以上权利要求中的任一项所述的处理器，其中，所述编码方法将二值权重串编码成固定长度的前缀和可变长度的数据段，其中，所述前缀的值决定所述数据段的长度。

11.如权利要求10所述的处理器，其中，第一前缀值对应零长度数据段，并且第二前缀值对应长度等于被编码的二值权重串的长度的数据段。

12.如以上权利要求中的任一项所述的处理器，其中，所述编码方法包括：如果二值权重串与所述选定的编码方案的预定权重模式相匹配，则将所述二值权重串编码成第一前缀值并且无数据段；否则，将所述二值权重串编码成第二前缀值和包括所述二值权重串的数据段。

13.如以上权利要求中的任一项所述的处理器，其中，所述权重生成模块被配置为输出根据所述预定编码方法编码的已编码二值权重串。