今晚不加班，用Golang写个爬虫，把男足直播韩国vs日本视频一网打尽

这事儿得从上周五说起。

公司楼下便利店，我正拎着关东煮等结账，听见旁边两个程序员在聊：“今晚韩国踢日本，哪儿能看高清直播？”“别想了，平台版权分散，找个能用的直播源比找bug还难。”

我当时第一反应是——这不就是个典型的信息聚合问题嘛，作为每天跟Golang打交道的后端狗，我脑子里瞬间飘过一堆goroutine和channel，与其在浏览器里开十几个标签页挨个试，不如写个十来分钟的Go程序，直接把男足直播韩国vs日本视频的可用链接都扒下来,汇聚到一个页面里。

为什么是Golang，而不是Python或Node？

说句掏心窝子的话，你要是只跑一次脚本，Python确实更顺手，但如果你跟我一样，有每30秒自动刷新一次直播源的强迫症,Golang的并发模型就是天赐的礼物。

核心武器：goroutine + channel

打个比方：你要同时监控5个体育直播网站，看看哪个页面出现了“韩国vs日本”的iframe标签，用Python你得写多线程，还得小心GIL锁；用Go,你只需要：

func checkLiveSource(url string, ch chan<- string) {
    // 发HTTP请求，正则匹配视频源
    // 找到了就塞进channel
    ch <- result
}
func main() {
    ch := make(chan string, 5)
    for _, site := range sites {
        go checkLiveSource(site, ch)
    }
    // 等第一个返回的结果就行
    first := <-ch
}

就这么简单。5个site同时check，谁先响应就用谁，看球最怕卡顿,这个机制能让你在直播源挂掉的一瞬间自动切换到备胎。

实战拆解：从HTML到视频链接的“三步走”

第一步：伪装成人类浏览器

直接裸奔发请求，被反爬的概率接近100%，我习惯用net/http建个客户端，带上常用的User-Agent，别用默认的Go-http-client/1.1，那玩意儿就像你在球场穿西装领带——太扎眼。

client := &http.Client{
    Timeout: 10 * time.Second,
}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
resp, _ := client.Do(req)

第二步：正则表达式找视频源

男足直播韩国vs日本视频，通常藏在iframe的src属性里，或者某些data-src延迟加载的属性中，用regexp包匹配几个常见模式：

re := regexp.MustCompile(`(?i)(src|data-src)="(https?://[^"]*(?:m3u8|mp4|flv)[^"]*)"`)
matches := re.FindAllStringSubmatch(htmlContent, -1)

注意(?i)忽略大小写，有些站点用data-lazy-src，那再加个模式就行，这里有个小坑：部分网站会用base64加密链接，这时候你可能需要encoding/base64包额外处理一层。

第三步：并发验证链接有效性

拿到10个候选链接后，别急着全塞给你，先发HEAD请求（或GET请求前几个字节），检查响应码是不是200，Content-Type是否包含application/vnd.apple.mpegurl或video/前缀。

for _, link := range candidates {
    wg.Add(1)
    go func(l string) {
        defer wg.Done()
        resp, err := http.Head(l)
        if err == nil && resp.StatusCode == 200 {
            validLinks <- l
        }
    }(link)
}

踩坑记录：那些让你怀疑人生的瞬间

写这个爬虫的时候，我至少踩了三次坑,都是实打实的教训：

1. TLS证书过期：某小众直播站SSL证书挂了，Go默认拒绝请求，解决方案是临时加InsecureSkipVerify: true，但仅限于你自己用,别泄漏到生产环境。
2. 重定向陷阱：有些链接会302跳到广告页，我用http.Client的CheckRedirect回调里加了个计数器,超过5次就放弃。
3. 编码问题：某个网站用的是GBK编码，直接匹配UTF-8正则啥也匹配不到，先golang.org/x/text/encoding/simplifiedchinese转成UTF-8再处理。

完整的代码骨架（能跑，但别直接抄）

我大概花了40分钟写了个粗糙版,结构是：

测试的时候发现，韩国vs日本这种焦点战，直播源失效速度超快，上半场还能用的链接，中场休息就404了，所以我的程序每60秒自动重扫一轮，把失效的踢掉,把新的加进来。

说点题外话：工具是死的，脑子是活的

虽然写了个程序帮我抓链接，但看球这件事，终究讲究个氛围，昨晚我在客厅投影仪上放着抓来的高清源，手里攥着冰啤酒，邻居家传来小孩哭声——这才是生活啊，程序只是省去了我反复切换网页的功夫，让我能安安心心躺在沙发上,享受男足直播韩国vs日本视频的每一脚传球。

你要是也打算自己搞一个，我不拦着，但记得啊，代码跑得再快，也快不过足球滚动的速度，别光顾着看终端日志，错过了孙兴慜那脚冷射，世界杯预选赛这种级别的对决，四年才等一回，该看的比赛别错过，工具嘛，够用就行，别纠结什么设计模式，跑起来，能看到球,就是好脚本。