• moonrailgun

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


    TLDR

    一个开源版的豆包手机操作系统,一句话用 agent 操作所有手机应用,支持长期记忆

    主要内容

    贴个图:

    图片

    图片

    开源内容:

    - 基于 android 17 的操作系统

    - android 操作助手 app

    - 桌面端可以下发任务和拉取日志以及配置 key

    链接:

    - 官网: https://open-doubao.moonrailgun.com/

    - Github: GitHub - moonrailgun/open-doubao-phone · GitHub

    碎碎念

    我觉得豆包手机的概念还是非常正确的, 但是豆包手机的一代和二代都有一些不足的地方,主要是对其他非字节系的应用有一些权限限制,没有办法操作。所以我做的开源版其实规避了这些风险,因为它运行在一个将他作为一等公民操作系统里面,(当然可以独立运行),第一优先使用无障碍模式,如果某些应用对于无障碍支持比较差那就会 fallback 到视觉模型,所以不会有豆包手机一代和二代的问题,而且你可以使用自己的模型,达到更好的使用体验

    整个流程就是:你可以通过唤醒词、长按电源键,或者手动点击的方式触发唤醒,用语音或者文本输入你的需求。AI 会通过视觉大模型和 jev 来判断,并给你提供自动操作的过程

    就和现在的 Codex 和 Claude Code 在电脑上做事情差不多的感觉,只不过它运行在手机上

    顺便说一下,jev 确实挺好用的。有了 jev 以后,一旦 jev 的判断命中了,可以很强地加速操作 当然,有时候没有办法拿到之前的结果,不得不 fallback 到大模型上面,这时候操作就会比较慢大模型就相当于通用解,但是慢。

    你可以自己配置想要的模型,只需要大模型支持视觉识别就行,jev 和 TTS 是可选的

    这个操作系统是基于 AOSP 来实现的,操作系统里面自带了谷歌三件套,因为确实发现,没有谷歌 Play 确实有点难用

    一些真机的实际视频演示可以在官网上看到

    如果觉得这个项目有点意思欢迎留个 star

    主楼
  • 天梦

    有点意思啊,下一个试试,之前一直用的eta^-^

    #1
  • phelop

    很不错 已Start 两个问题请求解答:

    1.手机端可以接入deepseek吗?

    2.这个需要常驻后台吗?

    #2
  • 天梦

    ^-^刚看了下github,怎么没找到下载的地方,怎么还要自己下源码构建啊,佬你怎么不用action自动构建啊^-^

    #3
  • moonrailgun

    可以牛逼。路径不是一样的路径,但是让我来学习一下

    #4
  • moonrailgun

    佬你说的对。让我来补一下。

    因为主要是整了个操作系统,不是单一的apk。让我在后续强化一下没有和os打配合的独立app的表现

    #5
  • moonrailgun

    感谢佬,回复一下问题:

    - 可以。兼容一切openai格式的llm,BYOK

    - 可选。你可以不给,需要的时候打开也行。

    #6
  • 天梦

    对了忘了问了,佬你这个可以加个接入飞书/微信/QQ的双向机器人吗^-^就是微信那个openclaw bot那种,发消息传给AI让他远程自己做任务,然后执行完了返回回答

    不知道佬用过吗^-^

    #7
  • 小磊

    大佬,弄个apk试试吧

    #8
  • cwlindean

    佬直接用无障碍好像会被软件检测到,然后一些软件就会黑号了。

    我记得有叫虚拟屏的技术佬可以研究一下 ^-^

    #9
  • moonrailgun

    研究啦,研究发现应用本身要用虚拟屏会有这样那样的限制,不同厂商系统支持还不一样。然后我索性搞了个操作系统。这样就变成一等公民库库用虚拟屏。

    可以看实机演示是有虚拟屏案例的

    #10

发表回复

登录后回复