- 散装江苏2026-09-095830

给主人留下些什么吧
笑死我了,第一次看到GPT的脏token特性居然是这个token而不是
亚洲AV什么的主楼 - 散装江苏2026-09-095830
- Junglecola2026-09-095240
问问这是什么模型啊 free账号吗
- 散装江苏2026-09-095830
- Re-bo-t2026-09-0928102
实际上,gpt压根不知道“给主人留下什么吧”是什么意思,你必须手动加入空格或干扰,gpt说哦,我能理解什么意思,但是分词器会把这个词组分成一个token,gpt就无法理解了
那为什么gpt会输出这种脏token啊
- 散装江苏2026-09-095830
- JerryXu2026-09-0923605
主人这个可谓是最经典最纯正的脏token了,比什么日本一级特黄大片亚洲AV大发快三彩票北京赛车要稀有多了
- lueluelue2026-09-098222
- 宙方2026-09-0940373
看来中文互联网还是太权威了 ^-^ ^-^
- 量子Bug2026-09-0936902
不是,这都多少年了,这个脏token还没被修复吗?不会吧,OpenAI的人难道都是能用就行,tokenizer这个组件一代代模型更新下来从来不重训的吗?那么多华人应该也不会不知道这个问题的存在吧
- 星渊清梦2026-09-095476
触发条件太苛刻,不会在正常情况触发到自然就不会修
- 量子Bug2026-09-0936902
真的吗?楼主这不就是用着用着就出现了
- 星渊清梦2026-09-095476
- 量子Bug2026-09-0936902
对啊,就是完全没有任何有关的内容的情况下,突然蹦出来的乱码。
这种乱码不是之前就在很多时候出现过了吗,就是很奇怪地被插入到对话中,我还以为现在的 LLM 都不会出现了
我看楼主就是在做正常的工作而已
- 星渊清梦2026-09-095476
哦哦,你说的是脏token插入呀,那倒不是和我想的一样了,这个问题了话,其实我从5.4之后也没见过来着,感觉也很难触发吧


