IDataAPI>> python3-concurrency-pics-01>> 返回
项目作者： wangy8961

项目描述 ：
爬虫多线程或异步下载 http://gank.io/api/data/%E7%A6%8F%E5%88%A9/1000/1 所分享的美女图片
高级语言： Python
项目地址: git://github.com/wangy8961/python3-concurrency-pics-01.git


python3-concurrency-pics-01

Python
aiohttp
BeautifulSoup4
requests
pymongo
progressbar2

1. 进度条

2. 截图

3. 使用方法

3.1 下载代码

  1. [root@CentOS ~]# git clone https://github.com/wangy8961/python3-concurrency-pics-01.git
  2. [root@CentOS ~]# cd python3-concurrency-pics-01/

3.2 准备虚拟环境

如果你的操作系统是Linux:

  1. [root@CentOS python3-concurrency-pics-01]# python3 -m venv venv3
  2. [root@CentOS python3-concurrency-pics-01]# source venv3/bin/activate

Windows激活虚拟环境的命令是: venv3\Scripts\activate

3.3 安装依赖包

如果你的操作系统是Linux:

  1. (venv3) [root@CentOS python3-concurrency-pics-01]# pip install -r requirements-linux.txt

如果你的操作系统是Windows（不会使用uvloop）:

  1. (venv3) C:\Users\wangy> pip install -r requirements-win32.txt

3.4 测试

(1) 依序下载

  1. (venv3) [root@CentOS python3-concurrency-pics-01]# python sequential.py

(2) 多线程下载

  1. (venv3) [root@CentOS python3-concurrency-pics-01]# python threadpool.py

(3) 异步下载

  1. (venv3) [root@CentOS python3-concurrency-pics-01]# python asynchronous.py

4. 爬虫系列

4.1 理论

4.2 实验

4.3 实战