工具教程

李飞飞团队发了个复古掌机Frameboy:打开浏览器就能逛AI凭空生成的3D世界

AI执行官

打开浏览器,就能走进一张照片”长”出来的世界

先描述一个画面:你打开一个网页,屏幕上出现一台复古掌机,很像小时候玩的GameBoy。你选一张”游戏卡带”,加载十几秒,然后——你就站在了一个AI凭空生成的房间里。按方向键往前走,视野所及之处,AI实时把新画面”画”出来;推摇杆转个身,身后的世界也跟着补全。整个过程中,你脚下的一切,原本只是一张图片。

这不是游戏,这是”AI教母”李飞飞的团队World Labs在11月5日(当地时间)发布的演示项目 Frameboy。它让AI生成的三维世界第一次做到了”实时可逛”——以前你让AI生成一个3D场景,按一次按钮要干等好几分钟;现在画面以最高每秒15帧的速度从云端实时传到你的浏览器里,你可以像玩游戏一样在里面自由走动。这篇文章就带你看看它是什么、怎么玩、以及现在还有哪些限制。

Frameboy是什么?一句话说清

Frameboy背后是World Labs今年9月发布的Atlas世界模型。所谓”世界模型”,简单理解就是:AI不是生成一段固定的视频,而是学会了一个场景的”空间结构”——你把镜头移到哪,它就能实时补出那个角度该看到的画面。谷歌式的说法是”用空间上下文替代文本上下文”,翻译成大白话:AI脑袋里装的不是一张张图,而是一个完整的三维房间。

Frameboy就是Atlas的”实时版”。团队对模型做了大量推理优化,让云端的高性能GPU可以持续把画面流式推送到浏览器里,最高每秒15帧。李飞飞本人在社交平台上的原话是:”实时版Atlas!现在就来试试!”

顺带说个背景:今年9月底,芯片大厂AMD宣布以约82亿美元(约合人民币550亿元)收购World Labs,李飞飞之后将出任AMD首席科学家。Frameboy正是这笔收购官宣后团队交出的第一份新成果——实时交互对算力要求极高,恰好和AMD的芯片业务对上了路。

怎么玩?四步上手

第一步:打开体验地址。浏览器访问 frameboy.worldlabs.ai(World Labs官网也能找到入口)。页面就是一台复古掌机的样子。

第二步:选一张”卡带”。每张卡带对应一个AI生成的世界,有室内场景也有户外风景。点进去,加载十几秒。

第三步:用”按键”探索。十字键控制移动,摇杆控制视角,电脑上用键盘,手机上支持触屏。你可以走到任意位置、转向任意角度,AI实时渲染出你眼前的新画面——走错了也没关系,调头回来就行,试错成本几乎为零。

第四步(进阶):排队搭自己的世界。World Labs还有一个网页工具 Viewfinder,可以把实时生成功能整合进去:你上传一张自己的图片当起点,AI逐帧往外补全,搭好后一键切换成Frameboy模式,在自己的3D世界里漫游。不过Viewfinder目前是封闭测试阶段,需要在官网申请加入候补名单,能不能排上要看运气。

几个丑话说在前面

1. 国内访问有门槛。Frameboy托管在海外服务器上,国内直连大概率打不开,需要相应的网络条件。这一点请提前知晓,避免白折腾。

2. 15帧只是”能玩”,不是”流畅”。已有媒体实测:整体操作有些卡顿,快速移动镜头时画面稳定性会下降。把它当成”未来技术的预览”来体验很合适,当成游戏来玩会失望。

3. 现在只能逛官方预设的场景。公开Demo大多是官方准备好的世界,普通人自由上传素材、生成可漫游世界的通道还没放开——想要这个能力,得等Viewfinder正式开放。

4. 它还很贵。World Labs自己承认,Frameboy必须跑在云端高性能GPU上,成本比传统的本地3D渲染高不少。现阶段这是实验室玩具,不是生产力工具。

5. 它是一项研究预览,不是产品。官方对定位说得很清楚:这是一个”起点”。未来帧数更高、成本更低之后,”人人都能创建一个虚拟世界并在网页上游览”才有可能成真。

普通人该关心它什么?

说实在的,Frameboy今天对普通人的实际用处还很有限——好玩、新奇、值得发个朋友圈,仅此而已。但它背后代表的方向值得每个人留意:AI正在从”生成图片/视频”走向”生成可以走进去的空间”。影视剧组用它虚拟勘景,游戏团队用它做关卡概念设计,建筑公司用它做可视化预览,甚至工地巡检、机器人训练都能用上——这些不再是科幻设想,官方演示里已经在朝这些方向走。

回想三年前,AI画一张图还歪歪扭扭;今天,我们能站在AI凭空想象的世界里四处走动了。按这个速度,也许用不了几年,”上传一张老家房子的照片,走进AI重建的老家”就会变成一个普通网页应用。到时候回头看,Frameboy就是这个未来的早期雏形。

有空的话,去它的官网花十分钟逛一逛——亲眼看到的震撼,比看十篇报道都直接。

分享给朋友