• 冰原Bill

    公司的一些立项调研,因为LLM延迟的问题,很多场景不得不毙掉LLM环节,或者异步(效果仍然不好)、Rerank(枚举值需要预先喂进去)。测试的时候虽然可以接受,但私下交流的时候评估肯定是没法支撑生产的。

    jev把决策过程压缩到了300ms以内,本身RAG检索出相关上下文也是非常快的,这样一个自动化流程的延迟完全可以从以前的10秒以上压缩到1秒级别。

    并且后续必然会有类似的模型涌现出来,这样即使为了准确性和健壮性引入多家模型共同决策,整体延迟也非常漂亮。企业内的初级岗位,越来越危了。

    图片

    图片

    主楼
  • bi-o-xu

    查了一下目前TypeSafe AI官方只有闭源的。社区倒是有些开源的,不知道效果咋样。

    想用下试试,可惜现在项目要求纯离线交付

    #1
  • Ran

    社区开源的也是复刻的样式,RLCD训练方法都没公开 ^-^

    话说这个询问方式需要自己进行编写吗?那这样是不是还要配合 llm 生成询问更好点?

    #2
  • DolphinZZZZZ

    方向验证以后,后续肯定会有开源项目跟上,保持关注即可。说不定过段时间又可以看核爆了

    #3
  • 草冢

    Mark一下,怎么几天没关注又出来一个什么东西?这么吊

    #4
  • 刘皇叔

    开源的 NanoJev 也是复刻的吗,这个 jev 是哪家公司推出来的诶

    #5
  • xultra1001

    openai的人出来创办的公司

    #6
  • 冰原Bill

    预设场景可以事先用LLM生成好模板,通过程序注入选项,通过RAG注入背景信息

    #7
  • Made_By

    端侧小模型实在是不敢恭维, 大部分厂还是内网工作, 离线交付

    #8
  • 冰原Bill

    我觉得对大厂来说去洽谈私有化部署claude gpt虽然不现实,但这种级别的模型应该毫无压力。

    #9
  • windsing

    NanoJev 之前我看只能解迷宫,连完整版的jev的功能都没用实现

    #10
  • mumong

    这个现在怎么体验和使用啊?

    #11
  • Daemon1314

    佬是直接决策检索出来的内容么

    #12

发表回复

登录后回复