返回列表 发新帖
查看: 1006|回复: 6

全球首款AI游戏诞生!无需游戏引擎视频模型直出我的世界

[复制链接]
发表于 2024-11-3 10:20:23 | 显示全部楼层 |阅读模式
无需游戏引擎,视频基座模型直出实时交互可玩的Minecraft,初创公司Decart和Etched打造的Oasis已经做到了这一点。
现在,不用游戏引擎,AI就可以自动生成游戏了?

今天,两家初创公司Decart和Etched宣布,他们打造了一款世界上首个实时、可玩、可交互的世界模型——Oasis。

00e93901213fb80ef1086015d67ccf20bb389457.jpg

Oasis经过了数百万小时游戏视频的训练,仅接收用户的键盘输入即可实时生成开放世界游戏,但其中并不包含任何游戏引擎,只有一个AI基座模型。

游戏允许玩家进行移动、跳跃、拾取物品、打破砖块等操作,生成的视频内容中不仅包含图形学的渲染,也能体现出对物理原则和游戏规则的理解。

3133ab4b656e875e36735933fb58276a.gif

在没有任何延迟的情况下,Oasis在H100上运行时能以360p的分辨率实现每秒20帧的渲染,并实时生成视频交互内容。

此前,虽然谷歌已经发布了首个AI游戏引擎GameNGen,但并没有在发布论文后开源。

8644ebf81a4c510f3ccb702581f4c523d42aa53b.jpg

然而,此次两家初创联手研发的Oasis不仅开源了代码,还公开了500M参数版本的模型权重。

d788d43f8794a4c2c5da8bf3ee59fbdbaf6e39ad.jpg

https://github.com/etched-ai/open-oasis

810a19d8bc3eb1358719bb8147b348ddfc1f446e.jpg

https://huggingface.co/Etched/oasis-500m/tree/main

此外,官网上已经放出了游戏demo,感兴趣的玩家从项目官网进入即可在网页端试玩,体会一下复刻Minecraft的画风。

267f9e2f07082838e1c1b1355b34490f4d08f104.jpg

项目网址:https://oasis.decart.ai/

虽然全AI生成是一大亮点,但在动辄4K HDR的的今天,360p的分辨率显得相当复古,可能对2024年的人类双眼不太友好。

幸好,如果在Etched打造的Sohu芯片上运行100B+参数的优化模型,就能达到4K级别的实时渲染,并发用户数量也将提升超过10x。

就在模型发布的今天,红杉资本也宣布以2100万美金投资Oasis背后的其中一家初创公司Decart。

5fdf8db1cb1349545b9e507fb7e37256d0094a61.jpg

虽然Oasis看起来是一个游戏,但事实上,真正的技术重点却是「视频」和「交互」。

OpenAI今年发布的Sora可以说是视频模型的「第一枪」。随着视频模型开始扩展,它们正在学习代表整个物理世界和游戏,从而赋能一个全新的产品类别。

从短视频社交媒体到视频通话,再到流媒体,目前超过70%的互联网流量来自视频;但另一方面,视频的数据密集程度相当高,AI生成视频所需的FLOPs比文本或图像多出10×。

因此,大部分人工智能推理工作负载将来自视频。无论是游戏、教育还是生成式内容,大型、低延迟、交互式的视频模型将成为下一波人工智能产品的核心。

Oasis是如何炼成的

之前谷歌推出的GameNGen本质上仍是一个由AI驱动的游戏引擎,但Oasis的底层机制并不是游戏引擎,而是单一的视频生成模型,相当于一个能交互、可玩的Sora。

那么,Oasis究竟是如何做到的?

根据博客介绍,技术团队进行了数百次架构和数据实验,以确定用于快速生成自回归交互式视频的最佳架构。

Oasis模型均基于Transformer架构,由基ViT的变分自动编码器(VAE)和基于DiT的潜在扩散主干组成,使用了加速过的轴向、时空和因果注意力机制来克服长序列中的模型发散(divergence)。

b03533fa828ba61e369caeeba1997704324e59c4.jpg

Oasis的ViT+DiT架构

你可以简单把它理解一个分工明确的工厂,各个组件各司其职。

VAE就像是工厂里负责整理和识别原材料(游戏里的各种信息)的车间,它基于ViT(Vision Transformer)架构,能够对看到的游戏画面的相关信息进行加工整理。

主干即工厂的核心生产线,基于DiT(Diffusion Transformer)架构,负责将加工处理好的信息产出游戏内容,比如游戏场景、物体等。

同时,利用Decart的推理引擎,结合Etched公司的Sohu(Transformer架构的ASIC)芯片,实现了实时视频生成。

这种架构选择保证了在Sohu芯片上的稳定扩展和快速推理,并且以自回归方式生成帧,能够根据游戏输入实时交互。

Sora这类模型根据用户输入的文本内容直出视频,但Oasis使用Diffusion Forcing进行训练,每次只生成一帧,根据游戏输入在token级别调节每个帧,因此可操纵性很高。

之所以能够被称为「世界模型」,是因为Oasis已经能够了解复杂的游戏机制,例如理解物体和建筑、照明的物理规律等等。

377adab44aed2e732a3b1d5a66ac418586d6fa37.jpg

模型理解照明的物理原理

dcc451da81cb39dba81ca91131bbe92aa91830d1.jpg

放置立方体砖块

不过,在生成游戏画面的时候,还有一个问题就是如何保证时间稳定性。因为在自回归模型中,一个画面出错了,后面可能就会越来越乱,如同多米诺骨牌一样。

解决这个问题需要长上下文生成方面的创新,Oasis的方案是部署动态噪声(dynamic noising)。

a9d3fd1f4134970a189cee15776731c6a6865d5d.jpg

Decart团队也表示,未来将针对部分远处物体出现模糊、不确定对象的时间一致性等问题进行研究,逐步提升Oasis的游戏体验。

两家初创,强强联手

生成式交互体验新纪元这就来了吗?这两家初创公司又是什么来头?

据公开报道,Oasis模型是由Decart和Etched两家初创公司共同推出的。

Decart成立于2023年9月,一直致力于提高AI模型的效率和降低运行成本,提供更快、更可靠的训练以及实时推理,成立三个月后便与一家GPU云服务商达成了数百万美元的交易。

0d338744ebf81a4c915c107a34878057242da650.jpg

Decart联合创始人Moshe Shalev和Dean Leitersdorf

今天,红杉资本更是豪掷2100万美金对其进行了投资,合伙人Shaun Maguire更是大力称赞Decart的团队,认为他们是「超精英的AI工程师」、「合作过的技术最有天赋的团队之一」,正在将生成式体验推向极致。

4610b912c8fcc3ceba396ce373e83686d63f20a5.jpg

目前推出的Oasis只是一个实时推理方面的热身实验,接下来的几个月,他们还将发布更具有颠覆性的成果。

另一家初创Etched是来自美国的人工智能芯片公司,成立于2022年,三位核心创始人均为哈佛辍学生。

他们最耀眼的成绩,就是推出了Sohu——世界上第一个基于Transformer架构的ASIC芯片,专为LLM推理加速打造,不仅快过Groq,也能碾压英伟达最新的B200。

5243fbf2b211931306b718059895ecd993238dc8.jpg

以Llama 70B模型的推理性能为例,1张Sohu≈20张H100≈10张B200。

caef76094b36acaf3da5250981746d1e00e99c3e.jpg

令人咂舌的性能背后,是Etched的一场豪赌般的权衡。

打造针对特定算法的AI芯片,将模型架构直接烧录到芯片的硬件结构中,这意味着无法运行其他模型,比如CNN、RNN或LSTM,但对Transformer来说,就能得到有史以来最快的芯片。

2022年,创始团队大胆预言——Transformer将占领世界,于是投入花了两年时间研发,得到了今天的Sohu。

Etched创始人之一Gavin Uberti表示,「我们正在押注人工智能领域最大的赌注——一种只能运行Transformer模型的芯片,但其运行速度比GPU快几个数量级。也许注意力确实是你所需要的全部...」

9922720e0cf3d7ca4e42410613b25e076a63a942.jpg

能高效推理的AI芯片,对于极耗算力的视频生成而言,可以说是类似于Scaling Law的福音。

虽然文生视频模型已经达到了很好的生成效果,但速度非常慢,成本也很高。

视频中的每个帧包含数百甚至数千个token,必须并行处理多次才能完全去噪。最好的模型平均每秒生成不到一帧,而且每个用户每分钟的费用可能高达1美元。

这种低效高成本的推理,不得不说是视频生成模型用于实际应用的一大障碍,而这正是Sohu芯片期望解决的问题。

今年6月,Etched宣布已经筹集了1.2亿美元的资金用于扩大生产,并与台积电合作,以35人的精干团队直接放话挑战市值3万亿的英伟达。

e61190ef76c6a7ef4c45d4411c574f5ff2de66b6.jpg






上一篇:扬帆“出海” 四川游戏开拓中东市场
下一篇:▂▃▄▅▆星海洛奇▆▅▄▃▂上线▆全技能跳过▆所有...
回复

使用道具 举报

0

主题

6

帖子

2

积分

新手上路

Rank: 1

积分
2
发表于 2024-11-3 15:39:02 | 显示全部楼层
谢谢你的分享,
回复

使用道具 举报

0

主题

6

帖子

2

积分

新手上路

Rank: 1

积分
2
发表于 2024-11-3 15:52:01 | 显示全部楼层
我已经迫不及待地要去尝试了。
回复

使用道具 举报

0

主题

3

帖子

-12

积分

限制会员

积分
-12
发表于 2024-11-3 17:35:07 | 显示全部楼层
"感谢你的评论,
回复

使用道具 举报

0

主题

5

帖子

2

积分

新手上路

Rank: 1

积分
2
发表于 2024-11-3 19:18:06 | 显示全部楼层
您的观点很有见地
回复

使用道具 举报

0

主题

5

帖子

-2

积分

限制会员

积分
-2
发表于 2024-11-3 21:14:24 | 显示全部楼层
我已经迫不及待地要去尝试了。
回复

使用道具 举报

0

主题

6

帖子

-4

积分

限制会员

积分
-4
发表于 2024-11-4 00:01:04 | 显示全部楼层
"你的帖子非常有趣,我已经被吸引住了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

游戏论坛手机版|违法信息处理|中国游戏论坛 |网站地图

GMT+8, 2024-11-13 10:31 , Processed in 0.277539 second(s), 38 queries .

Powered by Youxi X3.4

© 2014-2023 Youxibbs.com.cn by 中国游戏社区

快速回复 返回顶部 返回列表