急求 gocolly 怎样配置代理

Question

急求 go的爬虫框架 gocolly 怎样配置代理IP。。。。。。。。。。。。。。。。。

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

要使用Gocolly进行爬取，你需要在你的项目中安装gocolly包。你可以通过以下命令来安装它：

go get github.com/go-colly/colly

接下来，你可以在你的Go程序中引入colly包，并使用Crawl()函数来开始抓取网页内容。为了实现代理配置，你需要首先获取代理列表，然后将其添加到请求对象中。

例如，如果你想要从代理服务器A获取IP地址和端口号，你可以这样做：

1. 获取代理列表：

   curl -s http://your-proxy-server-ip:8080/api/proxy
   

   你应该能够看到一些包含IP和端口的信息的JSON数据。

2. 创建一个新的Crawler实例并设置代理：

   import (
       "net/http"
       "github.com/go-colly/colly"
   )
   
   func main() {
       // 假设我们有如下代理信息
       proxies := []struct {
           IP    string `json:"ip"`
           Port  int    `json:"port"`
           Enabled bool   `json:"enabled"`
       }{
           {"192.168.1.1", 80, true},
           {"192.168.1.2", 443, true},
       }
   
       // 创建一个新的Crawler实例
       c := colly.NewCollector()
   
       // 设置代理
       for _, p := range proxies {
           if p.Enabled {
               c.Proxy = fmt.Sprintf("http://%s:%d", p.IP, p.Port)
           }
       }
   
       // 开始抓取网页
       err := c.Crawl(func(r *colly.Request) {
           r.URL.Scheme = "http" // 这将替换原始URL中的scheme
           r.URL.Host = "example.com" // 这将替换原始URL中的主机名
   
           // 发送HTTP请求
           resp, err := http.DefaultClient.Do(r)
           if err != nil {
               return
           }
           defer resp.Body.Close()
       })
   
       if err != nil {
           log.Fatal(err)
       }
   }
   

在这个例子中，我们创建了一个新的Colly收集器实例，并设置了代理。然后，我们遍历了代理列表，检查每个代理是否应该被启用。如果一个代理是可用的，我们就设置它的代理属性为http://proxy-server-ip:8080。最后，我们开始抓取网页。

请注意，这个例子只是展示如何配置代理。在实际应用中，你可能还需要处理其他类型的错误，以及对网络状态的监控等。