项目作者: kkman2008

项目描述 :
一个比价系统爬虫方案。基本思路: 1:利用selenium驱动chrome浏览器进入淘宝网站,输入关键词“美食”,并点击搜索按钮,得到商品查询后的列表; 2:加载搜索结果页面完成后,分析页码,得到商品的页码数,模拟翻页,得到后续页面的商品列表; 3:利用pyquery解析页面,分析获取商品信息; 4:将获取到的商品信息存储到mongodb中,供后续分析使用。
高级语言: Python
项目地址: git://github.com/kkman2008/webcrawler.git
创建时间: 2018-08-25T11:11:10Z
项目社区:https://github.com/kkman2008/webcrawler

开源协议:

下载