Go 语言网络爬虫框架 gocolly/colly 初步使用

浏览数：5 / 时间：2023年04月11日

gocolly 是用 Go 实现的网络爬虫框架，目前在 github 上具有 19.3k 星，名列 Go 版爬虫程序榜首。gocolly 快速优雅，在单核上每秒可以发起 1K 以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫；依赖 goquery 库可以像 jquery 一样选择 web 元素。

gocolly 的官方网站是 https://go-colly.org/，提供了详细的文档和示例代码。安装 colly:

go get -u github.com/gocolly/colly/...
// 或
go install github.com/gocolly/colly/v2@latest

在代码中导入包：

import "github.com/gocolly/colly"

colly的主体是Collector对象，管理网络通信和负责在作业运行时执行附加的回掉函数。使用 colly 需要先初始化 Collector：

c := colly.NewCollector()

可以向colly附加各种不同类型的回掉函数，来控制收集作业或获取信息。增加回掉函数：

c.OnRequest(func(r *colly.Request) {
    fmt.Println("Visiting", r.URL)
})
 
c.OnError(func(_ *colly.Response, err error) {
    log.Println("Something went wrong:", err)
})
 
c.OnResponse(func(r *colly.Response) {
    fmt.Println("Visited", r.URL)
})
 
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
    e.Request.Visit(e.Attr("href"))
})
 
c.OnHTML("tr td:nth-of-type(1)", func(e *colly.HTMLElement) {
    fmt.Println("First column of a table row:", e.Text)
})
 
c.OnScraped(func(r *colly.Response) {
    fmt.Println("Finished", r.URL)
})

回掉函数的调用顺序如下：
1. OnRequest
在发起请求前被调用

2. OnError
请求过程中如果发生错误被调用

3. OnResponse
收到回复后被调用

4. OnHTML
在OnResponse之后被调用，如果收到的内容是HTML

5. OnScraped
在OnHTML之后被调用

官方提供的Basic示例代码：

package main
 
import (
    "fmt"
    "github.com/gocolly/colly"
)
   
func main() {
    // Instantiate default collector
    c := colly.NewCollector()
 
    // Visit only domains: hackerspaces.org, wiki.hackerspaces.org
    c.AllowedDomains = []string{"hackerspaces.org", "wiki.hackerspaces.org"}
 
    // On every a element which has href attribute call callback
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        link := e.Attr("href")
        // Print link
        fmt.Printf("Link found: %q -> %s\n", e.Text, link)
        // Visit link found on page
        // Only those links are visited which are in AllowedDomains
        c.Visit(e.Request.AbsoluteURL(link))
 
    })
 
    // Before making a request print "Visiting ..."
    c.OnRequest(func(r *colly.Request) {
        fmt.Println("Visiting", r.URL.String())
 
    })

    // Start scraping on https://hackerspaces.org
    c.Visit("https://hackerspaces.org/")
 
}

该实例程序仅访问hackerspaces.org域内的链接，OnHTML回掉函数的选择器为a[href]，选择页面内具有href属性的a类型元素，找到链接后继续抓取。运行的部分结果如下：

PS E:\mygo\src\github.com\gocolly\colly\_examples\basic> .\basic.exe
Visiting https://hackerspaces.org/
Link found: "navigation" -> #column-one
Link found: "search" -> #searchInput
Link found: "" -> /File:Cbase07.jpg
Visiting https://hackerspaces.org/File:Cbase07.jpg
Link found: "navigation" -> #column-one
Link found: "search" -> #searchInput
Link found: "File" -> #file
Link found: "File history" -> #filehistory
Link found: "File usage" -> #filelinks
Link found: "" -> /images/e/ec/Cbase07.jpg
Visiting https://hackerspaces.org/images/e/ec/Cbase07.jpg
Link found: "800 × 600 pixels" -> /images/thumb/e/ec/Cbase07.jpg/800px-Cbase07.jpg
Visiting https://hackerspaces.org/images/thumb/e/ec/Cbase07.jpg/800px-Cbase07.jpg

Go 语言网络爬虫框架 gocolly/colly 初步使用

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。