Python 爬取图集网站的图片

爬取图片

http://www.ivsky.com 这个网站上有很多壁纸，动漫类型的图片都挺好看，本文练习用 Python 爬取这些图片并存储到本地。

实现过程

1.站点分析
点开这个站点，选择 动漫壁纸，开发者模式下，定位到图片区域所在的 ul ，可以看到选择特征是 class="ali"。同时 “下一页” 按钮里面是下一页的 URL 全路径，样式为 class="next-page"。有了这两项信息，就能爬取完整的动漫图片了。

2.代码编写
流程主要分为两步：
第一步：解析 img 标签的 src 属性，请求图片，存储文件到本地；
第二步：解析下一页的链接。

循环爬取，直到解析不到下一页链接为止，代码为：

import requests
from bs4 import BeautifulSoup
import os

#爬取 url 对应的 html 内容
def getHtmlOfUrl(url):
	try:
		r=requests.get(url)
		r.raise_for_status()
		r.encoding=r.apparent_encoding
		return r.text
	except:
		return ""

#获取页面的img 图片并保存到本地
def getPic(html):
	soup = BeautifulSoup(html,'html.parser')
	all_img = soup.find('ul',class_='ali').find_all('img')

	#解析下一页的 URL 地址
	next_page = soup.find('a',class_='page-next')
	next_page_url = ''

	try:
		next_page_url = next_page['href']
	except:
		print('解析下一页 URL失败')

	#遍历保存当前页面的图片
	for img in all_img:
		src = img['src']
		img_url = src
		
		#保存图片到本地，获取 / 以后的最后一部分的文件名
		path = "./image/"+img_url.split('/')[-1]

		try:
			if not os.path.exists(path):
				r = requests.get("https:"+img_url)
				with open(path,'wb') as f:
					f.write(r.content)
					f.close()
					print('文件保存成功')
			else:
				print('文件已存在')
		except:
			print('爬取失败')
		
		#返回下一页连接 
		return next_page_url
	
#主流程
def main():
    ##域名，需要拼接到下一页 URL 中
	domain = "https://www.ivsky.com"
		
	#首页处理
	firstPage = "https://www.ivsky.com/bizhi/dongman/";
	html = getHtmlOfUrl(firstPage)
	nextPageUrl = getPic(html)
    
    #循环爬墙下一页
	while(nextPageUrl != ''):
		nextPageUrl=domain+nextPageUrl

		print("爬取下一页的数据",nextPageUrl)
		html = getHtmlOfUrl(nextPageUrl)
		nextPageUrl = getPic(html)

#img 位于 class="all" 的 ul 中
#爬取动漫图片地址：https://www.ivsky.com/bizhi/dongman/
#下一页连接<a class="page-next" href="/bizhi/dongman/index_11.html
main()

3.运行结果

启示录

requests 是爬虫模块，少写一个 s 的，程序进入 error 分支，但是没有打印异常，无法跟踪错误，所以异常分支应该打印堆栈错误，而非自定义的错误信息。

参考链接 ，根据该文的基本操作，修正代码错误、添加下一页爬取逻辑后完成本文。

这个网站基本上没有反爬措施，全都是图片，也不需要头域。又一次被 “ 派神 ” 的简洁、好用折服了！