为什么浏览器上xpath可以获取数据，python中无法获取

已于 2024-03-15 15:41:17 修改
阅读量6.9k 收藏 22
点赞数 6
CC 4.0 BY-SA版权
文章标签： python 爬虫
于 2021-09-18 13:08:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42830697/article/details/120365055
本文探讨了在浏览器中有效的XPath表达式为何在Python爬虫中失效的问题。主要原因是浏览器与Python解析网页的不同，前者能自动补全HTML标签并处理动态加载内容，而后者仅获取原始HTML。文章指导如何正确获取所需数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

         偶尔我们在写爬虫的时候会遇到这样一个问题，在浏览器上写的xpath语法明明可以获得数据，但是到python里面，一模一样的xpath语法却无法得到数据，这个问题出现在哪里呢？

        【前提：自己写的xpath没有问题，能准确获取数据】

原因一：

        浏览器上的xpath是根据  浏览器解析了服务器返回过来的网页源码，两者可能存在一定差异，比如部分标签不一样。

【查看网页源码(在网页上右键，检查网页源码)】 

会发现网页源码的标签与浏览器解析的不太一样，此为正常现象：是因为浏览器解析了服务器返回过来的网页源码导致的，python获取的是此源码，非浏览器解析的结果【但是大多数情况下浏览器上与此源码一样】。

      如今的浏览器是非常智能的，如果HTML缺少些标签，也会帮助服务器返回过来的源码自动补全，导致标签上存在差异。

     获取方式：查看网页源码【或者从spyder里面复制出来content变量的内容<最准确>】，通过网页源码确定准确的标签以及属性。

原因二：

     数据是通过动态加载的，静态网页数据获取的一套在这里根本用不上。

     需要学习动态网页爬虫才能准确获取想要的数据。

公众号有更多干货分享哦~~

        

Python—selenium控制本地浏览器并获取网页数据
weixin_42636075的博客
02-20 2331
Python控制本地浏览器并获取网页数据 python操控本地浏览器 python控制本地浏览器 Python-selenium控制本地浏览器并获取网页数据 python-selenium操控本地浏览器 python-selenium控制本地浏览器
Python解析网页-XPath
2302_79100751的博客
05-24 1163
XPath的安装配置及使用 常用规则 快速入门
python——爬虫中使用xpath过滤结果为空以及几种UnicodeEncodeError
watermelon12138的博客
03-20 1472
情况1： 在网页中使用xpath可以查找到内容，但在pycharm中查找结果为空 情况2： 出现UnicodeEncodeError: ‘latin-1’ codec can’t encode character ‘\u2026’ in position 30: ordinal not in range(256) 情况3： 出现UnicodeEncodeError: ‘ascii’ codec c...
解决Python用xpath爬取不到数据的一个思路
Cnc2014的博客
07-01 1048
解决Python用xpath爬取不到数据的一个思路，希望对大家有所帮助。
Chromexpath插件：一键获取网页元素的XPath，提升开发效率
最新发布
gitblog_06722的博客
05-10 1054
Chromexpath插件：一键获取网页元素的XPath，提升开发效率 【下载地址】Chromexpath插件 xPath helper是一款专为Chrome浏览器打造的开发者插件，旨在简化HTML元素的xPath获取过程。安装后，程序员无需手动搜索源代码或定位ID，即可快速解析网页，极大提升开发效率。无论是前端调试还是...
XPath语法在Python中无值
weixin_48353691的博客
11-21 741
XPath语法在Python中无值
使用selenium通过chromeF12的xpath以及css定位，但pycharm报错无法定位
qq_44136307的博客
12-07 733
使用selenium通过chromeF12的xpath以及css定位，但pycharm报错无法定位
爬虫xpath明明在页面能够解析到，但是在代码却解析不出来
前方的路在刚开始
09-16 5057
解决方式，使用xpath解析后的element对象，打印一下（结果是源码的形态）。不要以页面为准，而要以源码为准（右键查看源代码） 排错方式: 打印element代码 string = etree.tostring(table, encoding='utf-8').decode('utf-8') print(string) 1.图中tr是在tbody里面，但是代码获取不到，显示没有这个节点 2.但是在源码上却是叫table ..
python爬取数据返回空列表_Xpath在选择器中正确，在代码中返回的是空列表问题...
weixin_39712865的博客
11-29 2181
一、问题：在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。二、原因：1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。2.是因为没有写入获取的内容。比如在xpath选择其中可以使用但是在解析中没有带入//text()三、解决办法：1.因此解决...
浏览器用xpath获取一直为空
Cheng.py的博客
08-04 3417
这两天闲的无聊，随便爬了点小说和趣图，因为好久没使用xpath了，所以遇到了点问题，就是xpath值一直为空，举个例子: 爬取小说网站。 使用xpath工具查询小说网站导航栏的xpath路径是这样子的: 值是酱紫的: 用python测试下xpath import requests from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHT
Python网络爬虫-详解XPath匹配网页数据
a910247的博客
04-23 2572
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。XPath使用路径表达式来选取XML文档中的节点或节点集。这些节点是通过沿着路径（path）或者步（steps）来选取的。XPath不仅可以用于搜寻XML文档，同样适用于HTML文档的搜索。XPath广泛应用于XML解析、XSLT转换、XPath查询等领域，是XML技术中的重要组成部分。它可以用于解析XML文档，并根据节点的层次结构和属性值来定位和选择节点。
关于python中的xpath解析定位
09-17
下面我们将深入探讨Python中XPath解析定位的常见用法和语法。 首先，我们看一个简单的例子，从给定的URL中提取特定信息。在这个例子中，我们爬取了一个网页，并使用XPath选取了三个特定的属性值：别名、发病部位和...
Python lxml模块xpath解析不到内容
荒-于嬉的博客
02-15 4474
文章目录起始及经过解决方案 起始及经过 爬取某个网站的过程中,发现直接从浏览器按F12的控制台复制的xpath地址什么都获取不到,输出一个空列表,重新检查了xpath路径发现并没有什么问题. 示例网站:https://so.gushiwen.cn/shiwenv_4ef2774ed20a.aspx 演示爬取内容(获取此处的赏析文本): 初始代码: from lxml import etree from requests import Session url = 'https://so.gushiwen.
python学习问题总结之找不到的xpath
qq_34130509的博客
04-15 2078
问题描述：在使用xpath爬虫的过程中，我想提取带有某一属性的节点内部的文本，但输入节点和属性之后，并没有返回相关的文本，相关代码如下所示： fujian1_text = fujian1_text_tree.xpath('//span[@class = "normal105"]//*/text()') 在这里我想活得span下所有子孙节点的内容，其中span节点的class属性是"normal1...
为什么有些xpath绝对路径拿不到数据_使用chrome给出的xpath路径，无法提取出内容？...
weixin_39929687的博客
12-20 837
因为数据都存在这个script里面的,var hour3data={"1d":["16日20时,n01,多云,24℃,无持续风向,微风,0","16日23时,n01,多云,24℃,无持续风向,微风,0","17日02时,n01,多云,23℃,无持续风向,微风,0","17日05时,n01,多云,22℃,无持续风向,微风,0","17日08时,d01,多云,23℃,无持续风向,微风,3","17日1...
Python通过Xpath定位不到元素
weixin_42329328的博客
02-04 341
具体网址为考试酷的考试。排查了iframe嵌套，地址不准确等原因，还是无法定位到该元素。网页源码中没有需要抓取的文本，元素中有，复制元素的Xpath地址。使用request（）可以获取到网页元素。求问大牛，怎么解决。
学习心路历程：xpath插件匹配成功，程序匹配为空的问题
Bennett_Doris的博客
07-06 539
xpath helper插件在浏览器能够成功匹配到目标字段 在程序里却匹配不到 原因是因为浏览器会对源代码进行动态补全或者动态渲染，这是由浏览器的引擎所决定的，这样就导致了我们爬取的内容和我们在浏览器中看到的内容有所不同，才会出现匹配不到的结果 有一个比较笨笨的办法 就是在程序中的headers字段将User-Agent改成 Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko 这样应该就能够解决一部分问题 ...
xpath获取不到数据
u013021184的博客
01-23 1254
你是否也遇到过，在浏览器中选中了某个元素后，再copy xpath，想在代码中获取到你选中的元素，但是代码中显示结果为空。不要看现在页面内容显示不全，这丝毫不影响我们copy xpath，两次copy xpath的结果如下，一个是原网页的，一个是下载到本地的，可以看到两个xpath有差异。如果有ID选择器，我们最好使用ID选择器，因为具有唯一性，类选择器的话，结果就不好说了。使用xpath插件，能获取到正确的数据，为什么就是到代码中就不行了呢？下载到本地后，我们再使用浏览器打开，获取xpath。
爬虫使用xpath部分内容无法获取
qq_42937719的博客
05-11 2117
使用xpath获取信息，同一个网页的不同内容，有的可以，有的无法获取 网页中的内容是通过js代码读取外部json数据来动态更新的。 requests只能获取网页的静态源代码，动态更新的内容取不到。 对于动态更新的内容要用selenium 来爬取。 或者是通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。 在页面上点击右键，右键菜单中选 "查看网页源代码"。 参考：(1条消息) 关于xpath返回空列表的问题-Python-CSDN问答 ...
python 用xpath获取网页的数据
11-08
在Python中，你可以使用`lxml`或`selenium`库结合`xpath`表达式来从网页上抓取数据。`xpath`是一种用于XML和HTML文档的强大查询语言，它能够精确地定位元素。 1. **使用lxml**: ```python from lxml import html ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值