L站反爬这么强, 动不动403, 为什么gpt搜起来像纸糊的

应该是和cf有py交易

不只是gpt，每个大模型你用中文询问ai相关都会找来这个

L站有SEO的

搜索引擎抓取的没有等级限制的帖子内容

但是评论不可能被抓到吧, 想爬评论必须打开, 必须过cf盾

大模型面前cf的5秒盾就是个笑话 ^-^

纸糊的一样

其实你用过 cloudflare 就知道了，安全规则里面加一条

就能放开这些正规的爬虫

那我伪造oai请求头不就可以随便爬了?

需要在ip白名单里面。

你这未免把 cloudflare 想的太没水平了吧

Cloudflare Docs

Verified bots

Bots and agents confirmed by Cloudflare as legitimate, such as search engine crawlers and user-driven agents.

- Honest self-identification — it declares who it is deterministically, through a cryptographic Web Bot Auth signature, a published IP list with a stable user-agent, or reverse DNS.

你看看怎么伪造吧