johnnyisme4天前快科技10月21日消息，最近几天国产大模型已经有DeepSeek V4.1 Flash-1017及MiniMx M3.1 Flash两款产品发布，旗舰级的大模型还没有发布的，其中智谱的GLM-5.5被指达到3.5万亿参数量级别。
网上流传的智谱专家交流纪要显示，智谱10月底11月初要发布的GLM-5.5大模型不是传闻中的1.6万亿参数，实际参数规模在2.5万亿至3.5万亿区间。
作为对比，目前国产及开源行业参数量最大的还是Kimi K3系列，2.8万亿参数，GLM-5.5如果达到3万亿以上，甚至3.5万亿，那就是国产最强最大的AI大模型了。
GLM-5.5这次的模型架构较为激进，既要训得快，也要推得快，同时压低推理端成本，目标是在模型发布第一天即可提供大规模服务，目前已有多家云厂商开始就分成模式进行洽谈。
至于具体的性能，说是最近解决了训练中的问题，从目前情况判断下一代模型发布后将达到Fable级别的旗舰水平。
国产大模型达到Fable级别的性能，这是智谱创始人唐杰之前就确认过的，马斯克之前认为中国AI公司明年才能达到这个水平，唐杰表示不用那么久，今年就可以，显然是有这个底气的。
目前的这些信息还不能完全确认，尤其是参数量远超之前预期的1.6万亿，相当于直接从目前7400多亿干到3万亿，四倍规模对算力等资源的要求很高。
至于智谱GLM-5.5的性能达到Fable级别，从唐杰之前的表态来看，可信度很高，智谱的后训练能力公认极强，之前用7400多亿参数的GLM-5.2/5.3就能追到前沿水平。
主楼- johnnyisme4天前
最近有一份智谱的专家访谈纪要，以下援引多个自媒体转发的原文，串联从简：
1. 近期市场传闻智谱将于 10 月底发布 1.6T 参数的新一代模型 GLM-5.5，是否属实？新模型的具体规划如何？
该传闻不实。新一代基座模型的实际参数规模在 2.5 万亿至 3.5 万亿区间，模型架构较为激进，既要训得快，也要推得快，同时压低推理端成本，目标是在模型发布第一天即可提供大规模服务。据了解，已有多家云厂商开始就分成模式进行洽谈。为支撑这一激进方案，智谱补强了 infra 团队。
2. 新模型的发布时间为何没有市场预期的那么早？
主要原因是基座训练前段时间并不顺利，训练过程中出现了 loss 不降的情况。激进的架构改进必然伴随较高风险。近期该问题应已解决，预计很快能够完成训练。从目前情况判断，下一代模型发布后将达到 Fable 级别的旗舰水平。
3. RSI 和 Loop 等技术方向目前进展如何？
RSI 已取得一些进展，但尚未成为模型能力提升的主力。Loop 相关技术应已较早解决，估计会在某个版本中直接进入服务，公司在公开场合对此也有所提及。
4. 国内厂商训练上万亿基座的模型面临的核心难点是什么？
据了解，国内各家模型厂商都在考虑 5 万亿参数规模的训练，训练难度显著加大。国内目前可能还没有一家能够完整、稳定地训练完成 2 万亿参数的模型。需要说明的是，"成功完成训练"和"训完一个模型"是两码事。
没有成功完成训练也就是常说的训崩了，超大参数模型训练中的"训崩"主要有两类：
loss spike：成因包括 Attention logit growth、Output logit divergence、Stale optimizer state、Bad batch × bad state、Residual/norm growth 以及 Numerical overflow 等。
loss 不降：这类更棘手，表现为走平甚至逐渐升高。架构改动过于激进、模型参数过大、不同卡的数值精度差异都可能是原因。
模型越大，踩中这类不稳定的概率越高。最简单的例子是每层梯度求和，规模越大，溢出的可能性也就越大。
此外还有最后一种崩，要到后训练阶段才能体现出来，即后训练怎么都上不去。这种情况代价最大，只能下架重训。
从行业案例看，市场传闻 Kimi K3 的预训练数据并未全部过完，原因应是出现了 loss 不降，只能硬上后训练。但即便如此效果依然不错，也让行业看到了 scaling 的威力。另有传闻称 DeepSeek V4 属于后训练阶段才暴露问题的情况。智谱在后训练方面积累深厚，如果确实已经搞定了 3T 级别的预训练，后训练环节应当比较有把握，值得期待。
5. 海外厂商的反蒸馏措施会对国内模型产生什么影响？智谱在数据和技术路线上如何应对？
近期 Anthropic 和 OpenAI 已经采取了反蒸馏措施，例如通过 API 报错和上下文篡改机制来限制蒸馏。这些举措将对依赖该路径的模型迭代产生较大影响，因此业内普遍判断，国内模型性能的大幅提升可能会受到限制。
就智谱而言，之前也有市场观点透露，智谱已经在局部解决了数据问题，并坚定走 Claude 体感路线，即通过持续的后训练来刷新和提升模型能力，包括在后训练阶段对任务环境的大量投入。例如 GLM-5 系列的一个基座模型可以使用半年以上，通过后训练工程化持续刷新能力。
6. 下一代模型在推理优化上的进展如何？
此前大参数模型普遍面临"发得出、供不上"的问题，发布初期往往需要限流。新一代模型在设计阶段就把推理效率和推理成本作为硬约束，目标是发布首日即可大规模服务，这将直接改善旗舰模型的商业化节奏。
纪要要点速览：
• GLM-5.5 参数 1.6T 的传闻不实，实际区间 2.5 万亿–3.5 万亿；
• 延期原因是基座训练 loss 不降，专家判断问题应已解决，训练预计很快完成，目标 Fable 级旗舰；
• 推理效率与推理成本为设计阶段硬约束，目标发布首日大规模服务，多家云厂商已在洽谈分成模式；
• 国内尚无一家能完整稳定训完 2 万亿参数模型；训崩分 loss spike、loss 不降、后训练上不去三类，最后一类代价最大；
• 海外反蒸馏（API 报错、上下文篡改）将限制依赖蒸馏的迭代路径；纪要称智谱坚定走"Claude 体感路线"，GLM-5 系列基座使用半年以上，靠后训练工程化持续刷新能力；
• RSI 有进展但尚非主力，Loop 预计随某个版本直接进入服务。
以上内容整理自专家交流纪要，仅代表专家观点，不代表任何投资建议。据此操作，风险自担
- 时牧4天前
二手传闻，并不是可信的消息，里面大部分是推测
- johnnyisme4天前
历史经验表明，这种细节等级的传闻，很大概率就是真的 ^-^
- wayned4天前
希望吧，GLM 5.3 有点久远了，都不想用了
- 钟阮4天前
他先给他的降智修复吧：https://linux.do/t/topic/3054374
- frangled4天前
- fanxing4天前
那价格起飞，彻底沦为和kimi坐一桌了，发布了一堆人闻讯而来，服务器顶不住套餐用量再给你砍点，要是满足不了用户等被骂死吧智普
- John4天前
- suntc4天前
GLM TokenPlan V4 ^-^
- 肆月4天前
上次看到这消息还是在七月底
- YMYMY4天前
希望到时候不是说部分能力直追肥波，这种说法水分太大了
- OuSongXin4天前
有5.6sol级别的能力就已经不错了
- tyzones4天前
俗称一追再追，市值是一跌再跌
- moveongogo4天前
gpt 6.5据说11月初会上，总感觉落后一代。
- sis55954天前
一看就是炒股专用文案，暂时不信