009 - 使用XPath解析网页

如题所述

第1个回答  2022-05-31

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

XPath 使用 路径表达式 在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。用 XPath 解析网页的内容,就是确定所取内容的路径,即从大范围缩小到具体的位置。

text() 提取文本内容
@xxx 提取属性内容

找到XPath两种方法,一种是手动分析,需要对HTML结构熟悉,了解标签嵌套层级;另一种是Chrome 工具copy,同时要结合网页标签的进行校验。

还是以糗事百科段子笑话为例 http://www.qiushibaike.com/text/

拷贝出来的XPath内容如下:

注意,这里 [@id="qiushi_tag_118963704"] 指的是 div class="article block untagged mb15" ,是唯一的。如果想取出所有的位置的段子内容,就不能做唯一限定。修改为:

网页标签 id 是唯一的, class 标签是同一类标签的样式。使用标签属性,方便我们取出同一类型的内容。

PS 参见之前文章: 爬虫搜索神器BeautifulSoup和XPath 的使用

相似回答
大家正在搜