[发明专利]数据处理方法及装置、芯片

说明书

本申请公开了一种数据处理方法及装置、芯片，属于数据处理技术领域。所述方法包括：所述处理器向所述加速器发送处理指示，所述处理指示包括：分段指示，以及第一存储信息；所述加速器基于所述第一存储信息，获取待处理数据；所述加速器基于所述分段指示对所述待处理数据进行分段处理，得到多个数据块；所述数据处理装置对所述多个数据块进行目标处理，得到去重处理后的数据。本申请解决了CPU的负载较高的问题，减轻了处理器的负载，本申请用于数据处理。

本申请要求于2019年09月06日提交的申请号为201910844519.0、发明名称为“数据去重加速方法、装置和系统”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据处理方法及装置、芯片。

背景技术

随着科技的发展，设备存储的数据还有设备间传输的数据越来越多。相关技术中通常采用数据去重(data deduplication)处理的方法，降低装置中的重复数据。

相关技术中，设备通常包括中央处理器(central processing unit，CPU)和内存，数据通常存储在内存中，CPU能够对内存中的数据进行读写，实现对数据的去重处理。

但是，相关技术中CPU的负载较高。

发明内容

本申请提供了一种数据处理方法及装置、芯片，可以解决CPU的负载较高的问题，所述技术方案如下：

第一方面，提供了一种数据处理方法，用于包括处理器与加速器的数据处理装置，所述方法包括：所述处理器向所述加速器发送处理指示，所述处理指示包括：分段指示，以及第一存储信息；所述加速器基于所述第一存储信息，获取待处理数据；所述加速器基于所述分段指示对所述待处理数据进行分段处理，得到多个数据块；所述数据处理装置对所述多个数据块进行目标处理，得到去重处理后的数据。

本申请提供的数据处理方法中，处理器在需要对待处理数据进行去重处理时，可以向加速器发送处理指示。并且，无论处理指示以何种实现方式实现，加速器均可以执行去重处理中的至少部分阶段。这样一来，就减少了处理器需要执行的处理，从而降低了处理器的负载，提升了处理器处理数据的效率。

可选地，所述数据处理装置对所述多个数据块进行目标处理，得到去重处理后的数据，包括：所述处理器为所述多个数据块中的每个数据块计算对应的签名；所述处理器根据所述多个数据块查询字典，所述字典中包括数据块与签名的对应关系；当所述多个数据块中的第一数据块及所述第一数据块的第一签名在所述字典中时，所述处理器将所述第一数据块替换为所述第一签名；当所述多个数据块中的第二数据块不在所述字典中时，所述处理器将所述第二数据块的签名与所述第二数据块的对应关系存储到所述字典中；所述去重处理后的数据为所述待处理数据中所有未替换为签名的数据块和所有已替换的签名。处理器还可以将待处理数据中所有未替换为签名的数据块和所有已替换的签名确定为上述去重处理后的数据。处理器基于每个数据块查询字典时，处理器可以查询字典中是否记录有该数据块。

可选地，在所述处理器为所述多个数据块中的每个数据块计算对应的签名之前，所述方法还包括：所述处理器接收来自所述加速器的处理响应，所述处理响应用于指示所述加速器完成对所述待处理数据的分段处理。示例地，该处理响应可以包括多个数据块的第二存储信息。可以看出，处理器在向加速器下发处理指示后，处理器无需不停检测加速器是否执行完毕处理，而是等待加速器在执行完毕处理后发送的处理响应，这样一来，就进一步减少了处理器的负载。