Python3 爬虫之异步加载_python爬取异步加载-CSDN博客

本文链接：https://blog.csdn.net/u014695938/article/details/134631701

一、AJAX技术介绍

AJAX是Asynchronous JavaScript And XML的首字母缩写，意为异步JavaScript与XML。使用AJAX技术，可以在不刷新网页的情况下更新网页数据。使用AJAX技术的网页，一般会使用HTML编写网页的框架。在打开网页的时候，首先加载的是这个框架。剩下的部分将会在框架加载完成以后再通过JavaScript从后台加载。
如何判断一个网页有没有使用AJAX技术呢？如何判断一个网页有没有使用AJAX技术呢？

二、JSON介绍与应用

        JSON是一种格式化字符串。JSON字符串与Python的字典或者列表非常相似，仅存在一些细微差别。
        为什么需要JSON这种字符串呢？举一个例子：一个会英语不会德语的中国人，和一个会英文不会中文的德国人，他们可以使用英语愉快地交谈。英语在他们的交流中扮演了一个中介的角色。JSON在网络通信里面就是这个中介。
        JSON的全称是JavaScript Object Notation，是一种轻量级的数据交换格式。网络之间使用HTTP方式传递数据的时候，绝大多数情况下传递的都是字符串。因此，当需要把Python里面的数据发送给网页或者其他编程语言的时候，可以先将Python的数据转化为JSON格式的字符串，然后将字符串传递给其他语言，其他语言再将JSON格式的字符串转换为它自己的数据格式。
为了直观地观察一个JSON格式的字符串，先在Python中初始化一个字典：

person = {
  'basic_info': {
    'name': 'kingname'
    , 'age': 24, 'sex': 'male'
    , 'merry': False
  }, 'work_info': {
    'salary': 99999, 'position': 'engineer'
    , 'department': None
  }

}

Python中处理JSON格式字符串的库，名字为json。为了将这个字典转换为JSON格式的字符串，需要先导入这个库：

import json

使用下面这一行代码可以将字典转换为JSON格式字符串：

person_json = json.dumps(person)

打印出person_json，可以看到转换以后的JSON格式字符串为：

{"basic_info": {"name": "kingname", "age": 24, "sex": "male", "merry": false}, "work_info": {"salary": 99999, "position": "engineer", "department": null}}

Python的None，在JSON中会变成null；Python的True和False在JSON中会变成true和false；JSON的字符串总是使用双引号，中文在JSON中会变成Unicode码。除此以外，Python字典和JSON字符串都是一样的。为了让JSON格式的字符串更便于人阅读，可以进行缩进。使用如下代码可为JSON格式的字符串添加4个空格的缩进：

person_json_indent = json.dumps(person, indent=4)

不仅是字典，Python中的列表或者包含字典的列表，也可以转换为JSON格式的字符串。如果要把JSON格式的字符串转换为Python的字典或者列表，只需要使用一行代码即可：

person_dict = json.loads(person_json_indent)

上面代码得到的person_dict就是一个字典，可以像使用普通字典一样来使用它

三、异步GET与POST请求

        使用异步加载技术的网站，被加载的内容是不能在源代码中找到的。对于这种情况，应该如何抓取被加载的内容呢？
        为了解决这个问题，就需要使用Google Chrome浏览器的开发者模式。在网页上单击右键，选择“检查”命令，然后定位到“Network”选项卡。
        接下来需要刷新网页。在Windows下，按F5键或者单击地址栏左边的“刷新”按钮，在Mac OS下，按Shift+Command+R组合键或者单击地址栏左边的“刷新”按钮。刷新以后，可以看到“Network”选项卡下面出现了一些内容。单击“Network”选项卡下面出现的接口请求，并定位到“Response”选项卡，可以看到这里出现了网页上面的内容。
        再选择“Headers”选项卡，可以看到请求使用的GET方式或POST方，然后，使用requests模拟浏览器获得被异步加载的信息。

四、特殊的异步加载

分析Chrome开发者工具的“Network”选项卡下面的内容，并非所有的异步加载都会向后台发送请求。那么这个页面上的信息到底是从哪里加载进来的？这种情况称为伪装成异步加载的后端渲染。数据就在源代码里，但却不直接显示出来。
这种假的异步加载页面，其处理思路一般是使用正则表达式从页面中把数据提取出来，然后直接解析。

import json
import requests
import re  
url = 'http://baidu.com/666666.html'
html = requests.get(url).content.decode()
code_json = re.search("secret = '(.*?)'", html, re.S).group(1)
code_dict = json.loads(code_json) print(code_dict['code'])

五、多次请求的异步加载

还有一些网页，显示在页面上的内容要经过多次异步请求才能得到。第1个AJAX请求返回的是第2个请求的参数，第2个请求的返回内容又是第3个请求的参数，只有得到了上一个请求里面的有用信息，才能发起下一个请求。
对于这种多次请求才能得到数据的情况，解决办法就是逐一请求，得到返回结果以后再发起下一个请求。

六、基于异步加载的简单登录

网站的登录方式有很多种，其中有一种比较简单的方式，就是使用AJAX发送请求来进行登录。对于这种简单的登录功能，可以使用抓取异步加载网页的方式来进行处理。在Chrome开发者工具中可以发现，当单击“登录”按钮时，网页向后台发送了一条请求，登录过程实际上是一个异步的请求，这条请求返回的内容就是“是否通行的凭证”。
这就是使用POST方式的最简单的AJAX请求。使用获取POST方式的AJAX请求的代码，就能成功获取到登录以后返回的内容。

--------------------------------------

没有自由的秩序和没有秩序的自由，同样具有破坏性。

--------------------------------------