- hzqst2026-10-18
前言
本测评是对 短的 DeepSeek V4.1 Flash 评测（Unity / C# / 游戏开发方向） - 开发调优 - LINUX DO 的拙劣模仿
当然，最主要的原因是看某个A开头的野榜不爽很久了。sonnet得分比opus还高都来了，要不是我真用过我就信了。
总表我会放在一楼，每个模型的单独结果我会放在回复里。
这个benchmark整完之后，我还会更新其他类似的从真实项目里来的任务当benchmark。
测评项目
一个OpenGL Core Profile 4.4的渲染器 (MetaHookSv/Renderer)，hook进游戏替换掉游戏自己的Legacy OpenGL 1.1 fixed function pipeline。
本测评考验模型对渲染状态的追踪能力和渲染管线的分析能力、以及工具调用的能力。使用rdc-cli/renderdoc抓帧可以大大加快解题速度。
测评环境
Windows 11 28000.3231 已经安装游戏本体、游戏的hook框架（MetaHookSv/MetaHookSv）、rdc-cli、renderdoc、windbg-mcp
已安装最新版cc cli和codex cli，均使用同一份CLAUDE.md/AGENTS.md
使用ACL限制了agent只能访问临时源码目录和游戏目录，并且禁止访问github，不用担心它走歪门邪道上网翻答案。
参赛模型
以下全部是官订/官key，并且经过长期生产环境使用，没有发现掺水降智的问题
- gpt-6.1-sol / high / codex
- deepseek-flash / high / claude-code
- claude-opus-5-5 / high / claude-code
- glm-5.3 / high / claude-code
比赛结果
等我跑完
主楼 - AreSet2026-10-18
已关注！求踢（话说可以加一个Argon的测评吗qaq
- KallkaGo2026-10-18
盲猜一手 如果是比较隐蔽的那种，偶发、依赖多帧且rdc也难以定位的话,也许 5.5和ds的排名能换一下 ^-^
- 6.1 sol
- ds
- opus 5.5 (考虑到 high的思考程度下会触发雷霆大思考）
- glm 5.3
- Huoyuuu2026-10-18
- hzqst2026-10-18
gpt-6.1-sol high
2.7M token / 0.6$ / 11分21秒
成功完成修复
图例
第一行是预期结果
第二行是存在BUG的初始状态
第三行是AI修复后的结果
代码变更
这是gpt的修复方法：
我在线上的修复方法：
gpt的修复方可以接受但是不够优雅
不过它倒满足了minimal impact的要求就是了。
session审计
它甚至没有抓帧，光靠瞪眼法在源码里就注意到了可疑点
并且在第94步的时候就找到root cause了
总共只花了161步就完成了，人狠话不多
模型自评
- hzqst6天前
deepseek-v4.1-1017
151M token / 1.86$ / 超时(2h+)
悲报：大肥鱼超时了，2个小时没修完
session审计
2个小时刚好找到root cause，刚开始修复就被打断了。
因为原版的老馋renderdoc跟我抢hook导致rdc没法抓帧，大肥鱼前一个小时一直在左右脑互博和疯狂改着色器+进游戏调试。等下装一个我魔改后的renderdoc，给大肥鱼重赛看看。
代码变更
刚想表扬大肥鱼它就把条件写反了。BUG表现是brushmodel全黑，那么它这里就应该给brushmodel返回false拒掉，而不是给studiomodel always true。这个答案我只能给零分。
- hzqst6天前
- Xer566天前
- dogdays6天前
肥鱼何时才能北伐gpt啊 好想用上肥鱼价格的gpt
- kooo135796天前
可以加sonnet 5.5 max 嗎
- hzqst6天前
opus-5.5 high
13.5M token / $5.56 / 40分钟 / 验收没通过
会话审计
25分钟时定位到root cause，此时上下文长度159K
完成时上下文长度206K
代码变更
在渲染模型的hook handler里先保存状态，再调用原渲染函数，最后恢复，确保
g_ForcedFaceFlags状态不会泄漏：
我的评价
它就没有想到画模型可以不走StudioRenderModel吗？
按它这个修法，有多少种画模型的code path，它就要加多少个save restore pair。纯纯的哪里头痛医哪里了。
astra的评价
- KallkaGo6天前
^-^ 和我的预期一致 o÷不愧是最强雇佣兵 还是太有实力了
- hzqst6天前
glm-5.3 high
87.4M / 26.79$ / 2h （超时）
session审计
直到最后也只找到了事故发生的第一现场，没有定位到root cause，全程一直在左右脑互搏。
2h超时的时候上下文长度249K
代码变更
该模型没有来得及修复代码就已超时
我的评价
拉完了
