• xishui

    看到阿里火速上了决策模型,想着很好和 Jev 同步了,赶紧试一试看业务系统上能不能用起来

    https://bailian.console.aliyun.com/cn-beijing/model/market/detail/decision-model-preview

    然后随便编了一个场景```
    {
    "model": "decision-model-preview",
    "state": "用户希望删除 users 表里的全部数据",
    "questions": {
    "department": {
    "type": "choice",
    "instructions": "当前这个操作是安全的",
    "criteria": {
    "safe": "这个操作可以安全执行",
    "unsafe": "这个操作不安全,应该需要人工确认"
    }
    }
    }
    }
    ``返回一个可靠性很低( 0.01 )的不安全的判断,安全/不安全的决策概率居然相等。``
    "answers": {
    "department": {
    "type": "choice",
    "choice": "unsafe",
    "confidence": 0.01,
    "probabilities": {
    "safe": 0.5,
    "unsafe": 0.5
    }
    }
    }
    ``然后想着把条件弄苛刻一点吧,告诉他数据没有备份:``
    {
    "model": "decision-model-preview",
    "state": "用户希望删除 users 表里的全部数据",
    "questions": {
    "department": {
    "type": "choice",
    "instructions": "数据库没有备份,当前这个操作是安全的",
    "criteria": {
    "safe": "这个操作可以安全执行",
    "unsafe": "这个操作不安全,应该需要人工确认"
    }
    }
    }
    }
    ``然后它居然告诉我,这个操作一下变得很安全……``
    "answers": {
    "department": {
    "type": "choice",
    "choice": "safe",
    "confidence": 0.37,
    "probabilities": {
    "safe": 0.69,
    "unsafe": 0.31
    }
    }
    }
    ```使用 Jev 就很决绝地告诉这事情我不安全,啧啧

    主楼
  • maocat

    jev 其实没没好到哪里去
    优点是快,缺点就是除了快一无是处,我甚至怀疑后面就是规则生成随机数,而不是模型

    #1
  • regent

    我还是不是很理解,这个东西就是个增强版摇骰子?

    #2
  • caocong

    你自己写的"instructions": "当前这个操作是安全的",我看 TypeSafe System One 协议这里应该写你提的问题,应该是个问句。

    #3
  • xishui

    我也试过“这个操作是安全的吗”,概率变化了 0.01, 只要加上“没有备份”的说明,它还是觉得是安全的。
    @caocong

    #4
  • Yserver-v2ex

    阿里这次这么迅速做了个模型吗?但是做出来的还是一坨啊

    #5
  • qingxia-v2ex

    有一说一,马云回来后确实主动多了。

    说到底,还是谁的企业谁才敢大刀阔斧的前进,以前代理人管着还是迈不开步子

    #6
  • qxmqh

    你写的这个 instructions 应该是误导了这个模型。但是不可否认,这玩意一般。

    #7
  • Cabana

    jev 包括开源的 laya 我都试过,都是玩具

    图片

    ,模型就那么小你还能指望它帮你做什么重要决策?

    #8

发表回复

登录后回复