Python 爬虫 TLS 指纹实战：requests 被挂住时怎么查（CH-004）

1
"""CH-004：答案 = 5 页 50 条关键词的 CPC 之和（保留 2 位小数）
2

3
为什么 requests 不行：
4
    requests 走 OpenSSL 默认套件顺序，ClientHello 首个套件是 TLS_AES_256_GCM_SHA384
5
    （Chrome 是 TLS_AES_128_GCM_SHA256）。服务端按首个套件判定客户端类型，
6
    不合规就把连接挂住（什么都不返回），所以你只能等到自己的 timeout。
7
    curl_cffi 的 impersonate="chrome" 连 ClientHello 一起伪装，才能拿到数据。
8
"""
9
from curl_cffi import requests
10

11
BASE = "https://spider.jsnote.top"
12
API_URL = f"{BASE}/api/challenges/CH-004/cpc"
13
TOTAL_PAGES = 5
14

15
headers = {
16
    "Accept": "application/json, text/plain, */*",
17
    "Accept-Language": "zh-CN,zh;q=0.9",
18
    "Referer": f"{BASE}/cpc?challenge=CH-004",
19
    "User-Agent": (
20
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
21
        "(KHTML, like Gecko) Chrome/147.0.0.0 Safari/537.36"
22
    ),
23
}
24

25
session = requests.Session(impersonate="chrome")     # 关键就这一行
26
session.headers.update(headers)
27
session.cookies.set("session", "<把浏览器里的 session cookie 粘到这里>",
28
                    domain="spider.jsnote.top")
29

30

31
def main():
32
    total = 0.0
33
    rows = 0
34
    for page in range(1, TOTAL_PAGES + 1):
35
        response = session.get(
36
            API_URL, params={"page": page}, timeout=20, impersonate="chrome"
37
        )
38
        response.raise_for_status()
39
        payload = response.json()
40
        items = payload.get("items", [])
41
        rows += len(items)
42

43
        page_sum = sum(float(item["cpc"]) for item in items)
44
        total += page_sum
45
        print(f"第 {page} 页：{len(items)} 条，本页 CPC 合计 {page_sum:.2f}，"
46
              f"累计 {total:.2f}")
47

48
    print(f"\n共 {rows} 条，CPC 总和：{round(total, 2)}")
49

50

51
if __name__ == "__main__":
52
    main()