• chnaxoeng

    众所周知,gemini的pro档位订阅还是有一些很有诱惑力的福利的,除开5t的Google cloud容量之外,最有诱惑力的应该是200个Google colab的计算单元,接下来我会介绍一下我今晚把玩这几小时的体验

    需要注意的是,Google colab和传统的按小时租算力的服务有一些不同,因为它是完全弹性的服务,即使是pro档位使用计算单元开启的虚拟算力,划分的所有计算资源也都是即时的,这意味着所有的配置都必须在分配算力后进行、在释放了这些算力后所有数据都不会留存。除此之外,闲置超过一定时间的计算资源也会被撤除,而pro方案会在这方面也仅仅是有一定的宽限时间(更贵的pro+方案我不太了解)

    colab是通过ipynb代码块的形式交互的,选择不同的GPU和内存配置之后就可以运行代码块实现部署服务和网络打洞,据一些资料显示,最低档的t4是免费的,但是如果你有计算单元余额,免费的计算资源也会按量扣除你的余额

    考量到colab的性质,其实很多服务的配置是有一些麻烦的,特别是长程的训练任务,你可能需要有一个设置checkpoint和保存资料的脚本,在资源快被释放的时候自动运行。除此之外也不太适合一直跑模型推理服务,因为本身最大的显存也没多大的,倒也跑不了什么特别好的模型,而且资源释放的问题在这里依然是存在的。考虑到以上两点,我个人认为colab最适合的场景,其实是跑一些规模比较大的开源视频/图像生成模型

    因为我本人是漫画爱好者,我自己实践需求上于此最关联的是修图,我测试了一下colab上部署qwen image 2.1和flux 2 kelin的体验

    这里就不谈模型的具体性能了,这些网上都有很多测试,不过我本人对qwen image 2.1居然是完全没有censor这点感到十分震惊,而且能完全生成那种色色的图片……训练集里看来也是有不少好东西

    具体到部署的体验上来说,我觉得还是很不错的,我使用t4和l4两种GPU都进行了部署测试:

    1、第一个体验就是谷谷哥哥的机房网速是真的很快,这些开源模型和相关资源还有comfy ui全部下好也不过几分钟,如果你存到Google cloud,用的时候挂载,那速度就更快了

    2、谷歌的这些机器打洞其实还挺方便的,用ngrok免费搞一个账号,就能访问了,我用krita去连也完全没关系

    3、资源释放的速度挺快的……我把服务架起来之后一段时间不运行代码在那跑图片,会一直弹提示让我释放资源或者重新连接,我想应该并不能安心地放他在那边跑长程的东西

    以上体验做抛砖引玉,欢迎大家探讨体验,给出有价值的colab玩法

    主楼
  • cohen

    目前看起来h100抢不到,a100随时都有

    #1
  • 0wFF

    1、第一个体验就是谷谷哥哥的机房网速是真的很快,这些开源模型和相关资源还有comfy ui全部下好也不过几分钟,如果你存到Google cloud,用的时候挂载,那速度就更快了

    谷歌这个就是1~2gbps的下载啦w

    #2
  • jiah

    我之前花10刀买过Colab Pro,当时是跑anima来着。模型也是挂载到Google drive,然后也是可以用ngrok打洞。

    但是,我当时算过一笔账,就是10刀的价格跑Colab的T4,其实是不如去国内的GPU平台像是仙宫云租4090 48g划算的(只针对GPU,但是跑comfyui还有一个就是模型存储,这个的话Google drive就大方多了),如果只是为了跑comfyUI的话其实不建议单独买pro

    #3
  • chnaxoeng

    没事……我买pro订阅本来也就5刀(3个月限时优惠)

    我估计算一算也不太值吧?不然应该有很多人用,但是谷歌送额度倒是挺大方

    #4
  • cohen

    目前土区的ultra就很值,相当于四折买colab还带其他权益。上个月末才上的新权益

    #5
  • wuliaosile

    感谢老哥分享的玩法,我自己有这个额度没有想到要怎样玩迟点我去试下。

    #6

发表回复

登录后回复