python中如何使用XPath爬取小说

尊渡假赌尊渡假赌尊渡假赌 2025-11-16 00:00:00 次阅读

答案：使用Python的requests和lxml库，通过发送请求、XPath解析提取小说标题和正文，可批量爬取并保存内容。需注意动态加载、反爬机制及版权问题。

在Python中使用XPath爬取小说，主要是借助requests获取网页内容，再用lxml库解析HTML并使用XPath提取章节标题、正文等信息。下面是一个实用的流程说明。

安装所需库

你需要先安装requests和lxml：

pip install requests lxml

基本步骤与代码示例

以爬取某小说网站的一章内容为例（注意：仅用于学习，请遵守目标网站的robots协议和法律法规）。

1. 发送请求获取页面

使用requests模拟浏览器访问小说章节页面：

import requests
from lxml import html

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

url = 'https://www./link/319bb7e0f80716c134117d14a22d461e' # 替换为实际网址
response = requests.get(url, headers=headers)
response.encoding = 'utf-8' # 根据网页编码调整，常见为 utf-8 或 gbk
tree = html.fromstring(response.text)

2. 使用XPath提取内容

通过浏览器开发者工具（F12）查看小说标题和正文所在的HTML标签，构造XPath表达式。

# 提取章节标题，假设标题在

中
title = tree.xpath('//h1[@class="title"]/text()')
title = title[0].strip() if title else '未知标题'

提取正文内容，假设段落在内的 p 标签中
content_list = tree.xpath('//div[@id="content"]//p/text()')
content = '\n'.join([line.strip() for line in content_list if line.strip()])

3. 保存到本地文件
with open('chapter_1.txt', 'w', encoding='utf-8') as f:
f.write(f"{title}\n\n{content}")

批量爬取多章节

如果要爬整本小说，可先获取目录页的所有章节链接：

catalog_url = 'https://www./link/a58269cb74a093b377cd217b72bd15b9/catalog'
response = requests.get(catalog_url, headers=headers)
tree = html.fromstring(response.text)