Python爬虫实战项目_网页抓取与解析完整教程【教程】_技术教程

Python爬虫实战核心是requests获取内容、BeautifulSoup/lxml解析HTML并提取数据，关键在于理解网页结构、应对反爬、保障稳定性；需安装requests、beautifulsoup4、lxml，建议虚拟环境运行，并通过开发者工具分析静态/动态结构，加headers、控频、验状态码、规范编码，最终存为CSV/JSON/数据库。

Python爬虫实战项目的核心在于：用requests获取网页内容，用BeautifulSoup或lxml解析HTML结构，再按需提取标题、链接、文本等数据。关键不是写得多快，而是理解网页结构、处理反爬细节、保证代码稳定可维护。

准备环境与基础工具

安装必要库只需三条命令：

pip install requests —— 发起HTTP请求，获取网页源码
pip install beautifulsoup4 —— 解析HTML，定位标签，提取文本最友好
pip install lxml —— 作为BS4的解析器，速度比默认html.parser快不少

建议新建虚拟环境运行，避免包冲突。首次运行时加个简单测试：

import requests
from bs4 import BeautifulSoup
res = requests.get("https://www./link/1536687004241eb9faeee0e227b58c60")
soup = BeautifulSoup(res.text, "lxml")
print(soup.title.string)  # 输出：Herman Melville - Moby-Dick

分析网页结构并定位目标数据

打开浏览器开发者工具（F12），切换到Elements标签页，右键目标内容 → “Inspect”，观察其所在标签、class、id或父级路径。不要直接抄CSS选择器，先确认是否动态加载（滚动才出现？点击才加载？）。

静态页面：直接用 soup.find("div", class_="post-title") 或 soup.select("h1.title a")
含JavaScript渲染：考虑用Selenium或检查XHR请求，找真实数据接口（如JSON API）
有分页：观察URL规律（page=1、/list/2/），用循环构造请求

处理常见反爬与请求规范

多数网站会拒绝无头请求。加headers是最基础也最有效的应对方式：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
res = requests.get(url, headers=headers)

控制请求频率：用 time.sleep(1) 避免短时间高频访问
处理编码问题：若中文乱码，尝试 res.encoding = "utf-8" 或 res.apparent_encoding
检查状态码：if res.status_code == 200: 再解析，否则打印错误信息

保存结果到文件或数据库

爬取后数据要落地才有价值。小量数据用CSV或JSON最方便：

存为CSV：用 csv.writer 或 pandas.DataFrame.to_csv()
存为JSON：用 json.dump(data_list, open("result.json", "w", encoding='utf-8'))
进数据库：pymysql（MySQL）、sqlite3（轻量本地）或peewee（ORM简化操作）

示例保存字典列表：

import json
data = [{"title": "Python入门", "url": "https://example.com/1"}, ...]
with open("articles.json", "w", encoding="utf-8") as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

不复杂但容易忽略：每次爬完检查数据完整性，比如字段是否为空、链接是否拼错、日期格式是否统一。加几行日志或简单断言，能省下后期大量清洗时间。