[发明专利]一种对图片进行抓取处理的方法和服务器

说明书

技术领域

本发明涉及互联网技术领域，具体涉及一种对图片进行抓取处理的方法和服务器。

背景技术

在日常生活中，图片抓取技术被越来越广泛的应用。例如：一些电商网站、团购网站、图片网站等很多小型网站，由于受到自身网站服务器性能、网站软件配置等限制，这些小型网站上的图片在展现时速度较慢，而且展现过程也不稳定，这时，上述网站自身的图片存储在第三方的大型的图片服务器上，所述图片服务器对图片进行抓取来解决图片展现速度慢、展现不稳定的问题。又例如：一些图片搜索网站或新闻网站等，通过图片抓取技术来抓取整个互联网上的大部分图片，然后对抓取得到的图片进行分析、过滤，最后进行信息的发布。

图片服务器要处理的图片抓取任务数量是十分巨大的，通常一天要抓取数以亿计的图片。这对图片服务器的抓取、调度提出了挑战。现有技术中，图片服务器接收抓取请求，生成抓取任务，多个服务器之间，以及服务器内部进程之间的任务分发都缺乏调度，个别图片抓取任务的等待时间过长，导致图片抓取的效率低下。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的对图片进行抓取处理的方法和服务器。

依据本发明的一个方面，提供了一种对图片进行抓取处理的方法，其中，该方法包括：

多个任务处理器接收图片请求消息，根据各图片请求消息生成相应的图片抓取任务；

任务调度器将生成的各图片抓取任务存储到第一任务队列中；

任务调度器从第一任务队列中取出图片抓取任务，分发给多个任务处理器；

多个任务处理器根据分发的图片抓取任务对图片进行抓取，生成对应于各抓取到的图片的图片处理任务；

任务调度器将生成的各图片处理任务存储到第二任务队列中；

任务调度器从第二任务队列中取出图片处理任务，分发给多个任务处理器；

多个任务处理器根据分发的图片处理任务对图片进行处理。

可选地，在任务调度器将生成的各图片抓取任务存储到第一任务队列中之前，该方法进一步包括：

对生成的图片抓取任务进行过滤，清除已完成任务、非法任务和重复任务。

可选地，该方法进一步包括：

对于每个被抓取到的图片，在存储器和/或内容分发网络中存储该图片，并生成相应的图片状态信息，每条图片状态信息中包括：图片的标识信息，图片的存储地址信息；

将生成的各图片状态信息保存在图片状态数据库中。

可选地，每个图片抓取任务中包括：待抓取图片的标识信息和待抓取图片的地址信息；

则任务处理器根据分发的图片抓取任务对图片进行抓取包括：

对于每个图片抓取任务，判断该图片抓取任务中的待抓取图片的标识信息是否命中图片状态数据库中的图片的标识信息；

是则，根据命中的图片的标识信息对应的图片的存储地址信息，获取相应的图片，执行生成对应于该图片的图片处理任务的步骤；否则，根据该图片抓取任务中的待抓取图片的地址信息从互联网中抓取相应图片。

可选地，所述任务调度器将生成的各图片抓取任务存储到第一任务队列中包括：

根据各图片抓取任务的生成顺序、各图片抓取任务对应的图片请求消息 的接收顺序、以及各图片抓取任务的任务权重中的一项或多项，将各图片抓取任务按顺序存储到第一任务队列中。

可选地，所述任务调度器从第一任务队列中取出图片抓取任务，分发给所述多个任务处理器包括：

根据各任务处理器的当前进程数、最大预设进程数、当前线程数、以及最大预设线程数中的一项或多项得出各任务处理器的状态信息；

根据各任务处理器的状态信息，从第一任务队列中取出图片抓取任务，分发给所述多个任务处理器。

可选地，所述任务调度器将生成的各图片处理任务存储到第二任务队列中包括：

根据各图片处理任务的生成顺序、各图片处理任务对应的图片的抓取顺序、以及各图片处理任务的任务权重中的一项或多项，将各图片处理任务按顺序存储到第二任务队列中。

可选地，所述任务调度器从第二任务队列中取出图片处理任务，分发给所述多个任务处理器包括：

根据各任务处理器的当前进程数、最大预设进程数、当前线程数、以及最大预设线程数中的一项或多项得出各任务处理器的状态信息；

根据各任务处理器的状态信息，从第二任务队列中取出图片处理任务，分发给所述多个任务处理器。

可选地，任务处理器根据分发的图片抓取任务对图片进行抓取包括：