[发明专利]数据处理方法及装置、芯片

权利要求书

1.一种数据处理方法，其特征在于，用于包括处理器与加速器的数据处理装置，所述方法包括：

所述处理器向所述加速器发送处理指示，所述处理指示包括：分段指示，以及第一存储信息；

所述加速器基于所述第一存储信息，获取待处理数据；

所述加速器基于所述分段指示对所述待处理数据进行分段处理，得到多个数据块；

所述数据处理装置对所述多个数据块进行目标处理，得到去重处理后的数据。

2.根据权利要求1所述的方法，其特征在于，所述数据处理装置对所述多个数据块进行目标处理，得到去重处理后的数据，包括：

所述处理器为所述多个数据块中的每个数据块计算对应的签名；

所述处理器根据所述多个数据块查询字典，所述字典中包括数据块与签名的对应关系；

当所述多个数据块中的第一数据块及所述第一数据块的第一签名在所述字典中时，所述处理器将所述第一数据块替换为所述第一签名；

当所述多个数据块中的第二数据块不在所述字典中时，所述处理器将所述第二数据块的签名与所述第二数据块的对应关系存储到所述字典中；

所述去重处理后的数据为所述待处理数据中所有未替换为签名的数据块和所有已替换的签名。

3.根据权利要求1所述的方法，其特征在于，所述处理指示还包括：签名指示；

所述数据处理装置对所述多个数据块进行目标处理，得到去重处理后的数据，包括：

所述加速器基于所述签名指示，为所述多个数据块中的每个数据块计算对应的签名；

所述处理器根据所述多个数据块查询字典，所述字典中包括数据块与签名的对应关系；

当所述多个数据块中的第一数据块及所述第一数据块的第一签名在所述字典中时，所述处理器将所述第一数据块替换为所述第一签名；

当所述多个数据块中的第二数据块不在所述字典中时，所述处理器将所述第二数据块的签名与所述第二数据块的对应关系存储到所述字典中；

所述去重处理后的数据为所述待处理数据中所有未替换为签名的数据块和所有已替换的签名。

4.根据权利要求3所述的方法，其特征在于，在所述处理器根据所述多个数据块查询字典之前，所述方法还包括：

所述处理器接收来自所述加速器的处理响应，所述处理响应用于指示所述加速器完成对所述待处理数据的分段处理，以及完成为所述每个数据块计算对应的签名。

5.根据权利要求4所述的方法，其特征在于，所述加速器包括：控制器、接收缓存、发送缓存和处理单元；

所述处理器向所述加速器发送处理指示，包括：所述处理器向所述控制器发送所述处理指示；

所述加速器基于所述第一存储信息，获取待处理数据，包括：所述控制器控制所述接收缓存基于所述第一存储信息获取所述待处理数据；

所述加速器基于所述分段指示对所述待处理数据进行分段处理，包括：所述控制器控制所述处理单元获取所述接收缓存中的所述待处理数据，并基于所述分段指示对所述待处理数据进行所述分段处理；

所述方法还包括：

所述处理单元将所述多个数据块以及每个所述数据块对应的签名发送至所述发送缓存；

所述处理单元向所述控制器发送完毕指示；

所述控制器基于所述完毕指示，控制所述发送缓存将所述多个数据块以及每个所述数据块对应的签名进行存储；

所述处理器接收来自所述加速器的处理响应，包括：所述处理器接收来自所述控制器的所述处理响应。