[发明专利]一种爬虫爬取的电商商品的存储方法及系统在审
| 申请号： | 201611009724.8 | 申请日： | 2016-11-15 |
| 公开（公告）号： | CN106649576A | 公开（公告）日： | 2017-05-10 |
| 发明（设计）人： | 李巧如;王俊;邱鹿;孙超;于永新;袁颖盛;张和林;段云涛 | 申请（专利权）人： | 北京集奥聚合科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京和信华成知识产权代理事务所(普通合伙)11390 | 代理人： | 胡剑辉 |
| 地址： | 100085 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 爬虫 商品 存储 方法 系统 | ||
1.一种爬虫爬取的电商商品的存储方法，其特征在于：该方法包括以下步骤：
(1)爬虫爬取多个电商网站的网页，然后解析出网页中的商品数据；
(2)将商品数据存储时根据url解析出域名；
(3)将此域名作为表名，再根据url解析出id，以此id作为主键，将所需其它信息存储。
2.根据权利要求1所述的爬虫爬取的电商商品的存储方法，其特征在于：在所述步骤(1)中，通过java来实现爬虫爬取，配置好参数，参数包括每台服务器的线程数和需要爬取的电商种子url。
3.根据权利要求2所述的爬虫爬取的电商商品的存储方法，其特征在于：在所述步骤(2)中，通过java来实现，通过读取配置文件解析出域名。
4.根据权利要求3所述的爬虫爬取的电商商品的存储方法，其特征在于：在所述步骤(3)中，通过java来实现将商品信息存储到hbase中。
5.根据权利要求4所述的爬虫爬取的电商商品的存储方法，其特征在于：在所述步骤(3)中，以原网站id作为表主键。
6.一种爬虫爬取的电商商品的存储系统，其特征在于：该系统包括：
爬取模块，根据配置来爬取多个电商网站的网页，然后解析出网页中的商品数据；
域名解析模块，根据配置来将商品的url解析出域名；
存储模块，将此域名作为表名，再根据url解析出id，将此id作为主键，将所需其它信息存储。
7.根据权利要求6所述的爬虫爬取的电商商品的存储系统，其特征在于：在所述爬取模块中，通过java来实现爬虫爬取，配置好参数，参数包括每台服务器的线程数和需要爬取的电商种子url。
8.根据权利要求7所述的爬虫爬取的电商商品的存储系统，其特征在于：在所述域名解析模块中，通过读取配置文件解析出商品的域名。
9.根据权利要求8所述的爬虫爬取的电商商品的存储系统，其特征在于：在所述存储模块中，通过java编写代码实现数据存储到hbase中。
10.根据权利要求9所述的爬虫爬取的电商商品的存储系统，其特征在于：在所述存储模块中，以域名为表名，以原网站id作为表主键。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京集奥聚合科技有限公司，未经北京集奥聚合科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611009724.8/1.html，转载请声明来源钻瓜专利网。
