• 风云

    一直有个疑问,美国那么大参数的模型,被中国各种小参数(相较来说)追上、拉平

    以十分之一参数达到80%,90%的性能

    是否说明美国除了卡多,力大砖飞外,在巧劲,软件层面被中国压一头呢?

    特别是从论文角度,基本上都是中国的公司发的论文,然后从理论变成实践

    就我知道比较知名的,deepseek的dspark和1m上下文那个,kimi的注意力残差

    主楼
  • 远坂凛的宠物

    我有种感觉,至少open ai夸大了自己的成本。

    有可能既夸大了模型规模,又不会透露优化的方法。

    5.6那个消耗速度+天天重置+千万用户,反而降智是不如5.5明显的,

    #1
  • BOOSTMEISTER_2014_DH

    你的根本依据立不住,我就简单说几点

    - GPT、Gemini 的 Token 效率你目前没达到(当然 A\也没达到)

    - Gemini 的全模态,那个就很吃工程能力和算法,不只是数据了。但那个只有他们做到。

    - 论文更立不住,只是现在他们不公开罢了。就比如 A\那个 Jspace 就很先进。CoT 是 GDM 提出的,Tool Call 训练是 Meta 提出的。而且 GPT-OSS 也是有技术报告的。

    - 根本就没有追上、拉平。K3 之前连小领域都打不过,像 K2.6 明显是无法匹敌 GPT5.4 的,分数超过什么情况我不管,反正你要看分数自动扣 10%再看。比如嵌入式编程(当然 A\前面也不行)K3 才算是在前端掰平手腕。

    #2
  • ba_lao

    是否说明美国除了卡多,力大砖飞外,在巧劲,软件层面被中国压一头呢?

    这还不好说,美国的很多顶尖研究还是不透明的,谁好谁差还不一定

    #3
  • alex-panda

    我觉得至少不落后,至于跟 OpenAI, A/ 相比,由于他们从来不公布研究成果,所以很难一概而论

    但是其实各个厂商之间的人才流动这么密集(很多不同公司的研究员都是同学),我觉得他们之间的算法应该水平不会差距太大

    而综合很多研究员的访问(尤其可以看张小珺的播客),例如姚顺宇和姚顺雨他们的访问,他们都“不觉得算法上是决定模型性能的最大因素”(不是说没用,只是他的边际收益不是很高),他们反而是重视数据的质量

    所以我觉得 OpenAI 和 A/ 他们的领先应该是在数据质量上比较优秀

    #4
  • Luyx

    不能说领先吧只能算不落后

    主要是他们闭源厂商也没公开啊那这种比较真的毫无意义,谁强谁弱都改变不了我们只能看开源厂商的成果

    #5
  • xiedian

    有这种可能,但是也不能单纯就这样比算法高低,现在只有算法适不适合

    他们算力足,现在的算法肯定是符合他们自身的算力情况的,如果全球的算力都不足,他们自然就研究算力不足的算法,那个时候才能比较算法高低

    #6
  • alex-panda

    就例如

    张小珺: 我记得那时,大家都不知道OpenAI的保密项目是什么,就知道它叫草莓、Strawberry。大家觉得会带来一个新的范式——后训练强化学习,但更多的就不知道了。
    姚顺宇: 对,我去Anthropic的时候,大家已经比较清楚,大概的方向是怎么做。
    后来随着我对这个领域知道越来越多,就发现,那个时刻,OpenAI做的方式和Anthropic差别挺大的。具体这种算法,和使用数据的方式,是不太一样的。虽然都叫后训练和强化学习。但那些不是本质区别。
    大的方向来说,它们是同一个——找一些回归信号非常清楚、非常客观,数据本身又比较干净,对模型来说是可学习的,在上面做稳定的强化学习训练。大的方向都是这个方向。但具体实现差别比较大。
    后来事实也证明,具体实现每家方向都不一样,但是都能做成。而且当时OpenAI的目标也不是coding。

    很多时候模型性能高低主要还是取决于训练数据的质量,就例如字节有最大的视频平台,所以他的视频模型这么强

    #7
  • xiaomao

    概念 |
    主要提出/推广方 |
    国家 |

    Transformer |
    Google(论文《Attention is All You Need》,2017) |
    美国 |

    MoE 混合专家 |
    学术界1991年最早提出(Hinton等),现代LLM中由Google(GShard/Switch Transformer)、法国Mistral、中国DeepSeek等发扬光大 |
    美/法/中 |

    RLHF |
    OpenAI(ChatGPT/InstructGPT推广),早期学术合作源自OpenAI与DeepMind |
    美国 |

    Constitutional AI(宪法式AI) |
    Anthropic |
    美国 |

    Scaling Laws |
    OpenAI最早提出(2020),后DeepMind的"Chinchilla定律"修正 |
    美国/英国 |

    Chain-of-Thought 思维链 |
    Google(Jason Wei等人,2022年论文) |
    美国 |

    Test-time Compute / 推理模型 |
    OpenAI(o1模型,2024年9月推出) |
    美国 |

    RAG 检索增强生成 |
    Meta(Facebook AI Research,2020年论文) |
    美国 |

    Function Calling / Tool Use |
    学术上Meta的Toolformer较早,OpenAI在API中大规模推广 |
    美国 |

    Context Engineering |
    非单一机构提出,2025年由AI工程师/创业者社区(如Shopify CEO Tobi Lütke等人)在推特上推动成为流行说法 |
    美国(社区自发) |

    AI Agent(智能体) |
    概念历史悠久(学术界),现代LLM Agent热潮由开源项目AutoGPT率先引爆,随后OpenAI、Anthropic、Google跟进产品化 |
    多方,早期开源社区+美国大厂 |

    Multi-Agent 多智能体 |
    学术界多智能体系统研究已有数十年,LLM时代由微软(AutoGen)、清华等(CAMEL)等推动框架化 |
    美/中 |

    MCP(Model Context Protocol) |
    Anthropic(2024年11月发布) |
    美国 |

    多模态大模型 |
    OpenAI(GPT-4V)、Google(Gemini原生多模态)等多家并进 |
    美国为主 |

    具身智能 / Physical AI |
    概念学术界早有,"Physical AI"一词由英伟达黄仁勋大力推广,中国的人形机器人公司(如智元、宇树)也是重要推动力 |
    美国(NVIDIA)+ 中国 |

    World Model 世界模型 |
    Meta的Yann LeCun长期倡导,Google DeepMind(Genie)、李飞飞的World Labs也在做 |
    美国 |

    Diffusion Model 扩散模型 |
    学术界斯坦福团队最早提出(2015),OpenAI(DALL-E 2)、Stability AI(Stable Diffusion)、Google(Imagen)推广 |
    美/德 |

    #8
  • alex-panda

    我觉得这这个可以附上发表年份来评估中国在AI领域的进步

    #9

发表回复

登录后回复