如何使用Golang抓取网页内容_GolangHTTP页面爬取示例

P粉602998670 2025-12-23 00:00:00 次阅读

Golang抓取网页核心是http.Get+io.ReadAll，需错误处理、resp.Body.Close()防泄漏、检查StatusCode；可设User-Agent绕反爬；用golang.org/x/net/html解析HTML；建议加超时与重试。

用 Golang 抓取网页内容，核心是 http.Get 发起请求 + io.ReadAll 读取响应体，再配合错误处理和基础 HTML 解析即可完成简单爬取。不需要额外框架，标准库足够起步。

基础 HTTP 请求与响应读取

最简方式就是调用 http.Get，检查状态码和错误，然后读取 Response.Body：

务必调用 resp.Body.Close() 防止连接泄漏
建议检查 resp.StatusCode == 200，避免静默拿到 404/500 响应
用 io.ReadAll（Go 1.16+）或 io.Copy + bytes.Buffer 读取全部内容

示例代码：

resp, err := http.Get("https://example.com")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()
if resp.StatusCode != 200 {
log.Fatalf("HTTP %d", resp.StatusCode)
}
body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal(err)
}
fmt.Println(string(body))

设置请求头模拟浏览器访问

很多网站会拒绝默认的 Go User-Agent，加个 User-Agent 头能绕过基础反爬：

使用 http.NewRequest 构造请求，再设置 Header.Set
常见 UA 可设为 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
必要时还可加 Accept、Accept-Language 等字段

示例：

req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
client := &http.Client{}
resp, err := client.Do(req)
// 后续同上：检查状态码、读 body、关闭...

解析 HTML 提取文本或链接

抓到 HTML 字符串后，可用 golang.org/x/net/html 包做轻量解析：

用 html.Parse 构建节点树，或用 html.NewTokenizer 流式解析（更省内存）
常用目标：提取所有链接，或某个文本
注意处理字符编码（如网页是 GBK，需先转 UTF-8；多数现代网页是 UTF-8，可跳过）

简单提取所有链接示例：

doc, err := html.Parse(strings.NewReader(string(body)))
if err != nil {
    log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
    if n.Type == html.ElementNode && n.Data == "a" {
        for _, attr := range n.Attr {
            if attr.Key == "href" {
                fmt.Println(attr.Val)
            }
        }
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        f(c)
    }
}
f(doc)