python爬虫下载文件-【Py大法系列--03】Python如何自动下载文件

问题描述

Python自动下载文件，通用文件，包括但不限于压缩文件、图片等。

解决方法

一般情况下，Python下载文件的方式有以下几种：

利用urllib、urllib2，即Python爬虫用的最多的库；

import urllib

import urllib2

import requests

url = "你的下载链接"

urllib.urlretrieve(url, demo.zip)

urllib.urlretrieve(url, demo.zip)这个函数还可以接受另外一个参数，比如这样用：

urllib.urlretrieve(url,local,Schedule)，其中Schedule为：

def Schedule(a,b,c):

'''''

a:已经下载的数据块

b:数据块的大小

c:远程文件的大小

'''

per = 100.0 * a * b / c

if per > 100 :

per = 100

print '%.2f%%' % per

这样程序可以即时打印出下载的进度。

利用urllib2.urlopen(url);

import urllib2

print downloading with urllib2

url = "您的链接"

f = urllib2.urlopen(url)

data = f.read()

with open ("demo2.zip", "wb" ) as code:

code.write(data)

利用requests，划重点，我女神推荐的！

import requests

url = "您的链接"

r = requests.get(url)

with