[发明专利]一种海量图片管理方法和装置

说明书

本申请公开了一种海量图片管理方法和装置。所述方法包括：获取当日更新的多个最新图片；将所述最新图片通过多个传输线程并行上传到分布式服务器集群中预置的日增图库，所述分布式服务器集群中还部署有全量图库；通过比对图片索引，将所述日增图库中不存在于所述全量图库的最新图片保存至所述全量图库；接收到应用程序调用图片的请求后，从所述全量图库提取目标图片反馈至所述应用程序。本申请避免了提供给下游应用程序的商品图片不准确以及占用较多存储资源和计算资源的问题。

技术领域

本申请涉及计算机技术领域，具体涉及一种海量图片管理方法，以及一种海量图片管理装置。

背景技术

网络交易平台提供大量商品的交易，每个商品都有对应的至少一张图片，以全球速卖通(Aliexpress)为例，该平台上大约有1.5亿的商品，每个商品有1至6张在搜索、导购等页面展示的商品主图，还有多张描述商品详情的细节图，随着业务的发展，每天有大量的图片被新发到该平台。

基于图片可以进行多种处理和分析，例如从图片内容判断两个商品是否相似或者同款，或是基于图片内容评估图片的质量、识别商品是否侵权等。

目前存在的问题是，一方面，海量图片的处理和分析对平台的存储能力、数据处理能力均有着较高的要求；另一方面，针对每日更新的大量图片，由于并未标记与原始图片的关系，因此无法确切获知哪些图片为新增图片，目前的图片存储仅仅是简单将更新的图片全部并入图片库中，从而造成供下游应用程序调用的商品图片不准确，并且会浪费较多的计算资源和存储资源来处理重复的图片。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的海量图片管理方法和相应的海量图片管理装置。

依据本申请的一个方面，提供了一种海量图片管理方法，包括：

获取当日更新的多个最新图片；

将所述最新图片通过多个传输线程并行上传到分布式服务器集群中预置的日增图库，所述分布式服务器集群中还部署有全量图库；

通过比对图片索引，将所述日增图库中不存在于所述全量图库的最新图片保存至所述全量图库；

接收到应用程序调用图片的请求后，从所述全量图库提取目标图片反馈至所述应用程序。

优选地，在所述获取当日更新的多个最新图片之前，所述方法还包括：

通过解析商品更新记录获得对应更新的最新商品信息；

从所述最新商品信息解析出所述最新图片的链接地址，根据所述链接地址获取所述最新图片。

优选地，所述通过比对图片索引，将所述日增图库中不存在于所述全量图库的最新图片保存至所述全量图库包括：

将所述日增图库中最新图片的图片索引与预置的历史索引库进行比对，所述历史索引库中保存所述全量图库中所有图片的图片索引；

提取图片索引不存在于所述历史索引库的最新图片保存至所述全量图库。

优选地，所述方法还包括：

将增加至所述全量图库的最新图片对应的图片索引增加至所述历史索引库。

优选地，所述全量图库中的图片按照所属多级图片类目分布存放在所述服务器集群的多个存储区，每个存储区的图片按照对应的图片编号按序存放，各图片标记有对应的图片标识和所属多级图片类目；

所述接收到应用程序调用图片的请求后，从所述全量图库提取目标图片反馈至所述应用程序包括：

解析所述调用图片的请求携带所需目标图片的目标多级图片类目；