L站反爬这么强, 动不动403, 为什么gpt搜起来像纸糊的

应该是和cf有py交易

L站有SEO的

搜索引擎抓取的没有等级限制的帖子内容

但是评论不可能被抓到吧, 想爬评论必须打开, 必须过cf盾

大模型面前cf的5秒盾就是个笑话 ^-^

纸糊的一样

现在有成熟的脚本过cf盾方案，只有图形验证码才能稍微阻挡一下agent的自动化

其实你用过 cloudflare 就知道了，安全规则里面加一条

就能放开这些正规的爬虫

那我伪造oai请求头不就可以随便爬了?

需要在ip白名单里面。

你这未免把 cloudflare 想的太没水平了吧

Cloudflare Docs

Verified bots

Bots and agents confirmed by Cloudflare as legitimate, such as search engine crawlers and user-driven agents.

- Honest self-identification — it declares who it is deterministically, through a cryptographic Web Bot Auth signature, a published IP list with a stable user-agent, or reverse DNS.

你看看怎么伪造吧