欧洲杯体育

作家 | ZeR0

剪辑 | 漠影

智东西 12 月 5 日报谈，AGI 竞赛愈演愈烈！就在 OpenAI 晓谕将于畴昔 12 天直播新发布和 demo 前，昨夜，Google DeepMind 发布大型基础天下模子 Genie 2，能生成各式可狂放看成、可玩的 3D 环境，还不错用于磨练和评估具身 agent。

只好给一张教唆图像，Genie 2 就能按照你输入的文本教唆，生成对应的交互式造谣天下。不管是东谈主类如故 AI agent，齐不错使用键盘和鼠标来在由 AI 生成的 3D 游戏天下里探索和互动。

Genie 2 是一个自记挂潜在扩散模子，磨练于大型视频数据集。经由自动编码器后，视频中的潜在帧被传递到大型 Transformer 能源学模子。该模子使用与大言语模子访佛的因果掩码进行磨练。

在推理时，Genie 2 能以自记挂模式进行采样，逐帧得回单个看成和往时的潜在帧。Google DeepMind 使用 CFG（无分类器指导，classifier-free guidance）来提升看成可控性。

博客著述放出大宗由未蒸馏的基础模子生成的视频示例，来展示 Genie 2 在行径狂放、生成反设事实、长视界牵挂、长视频生成、千般环境、3D 结构、物体交互、复杂变装动画、NPC、物理、烟雾、光影、快速原型盘算方面的遵循与上风。蒸馏版块支撑及时交互，但运行时的视觉质地会镌汰些。

输入果真天下的相片后，它也能很好模拟一些物理限定，比如可模拟风中摇曳的草或河中流动的水。

一、超强空间牵挂本领，模拟果真天下环境

此前天下模子在很猛进程上局限于建模窄小的限度。Genie 1 引入了一种生成各式 2D 天下的身手。Genie 2 则进一步在通用性上取得阐明，不错生成种类众多的丰富 3D 天下。

以下是与 Genie 2 互动的一些示例视频。模子会使用文生图模子 Imagen 3 生成的单个图像，按照教唆词生成一个可交互的 3D 天下。东谈主或 agent 进行键鼠操作，进入这个新创建的天下并与之互动。Genie 2 不错生成长达 1 分钟的一致天下，大多数示例握续 10-20 秒（本文将部分视频示例转成 gif 动图并只截取片断，无缺视频请到原博客著述寻查）。

1、智能反应键盘按键操作

Genie 2 不错智能地反应键盘上的按键操作，正确地识别并出动变装。比如下图中的几个示例，模子必须能弄泄露标的按键对应要出动的是机器东谈主，而不是画面中的树、云等其他物体。

树林里的一个可儿的东谈主形机器东谈主。

古埃及的东谈主形机器东谈主。

紫色星球上的机器东谈主的第一视角。

大城市阁楼公寓中的机器东谈主的第一视角。

2、生成反设事实

Genie 2 不错从归拢肇始帧生成不同的轨迹，为磨练 agent 模拟不共事实的体验。在每一瞥中，每个视频齐从归拢帧启动，但东谈主类玩家给与的看成不同，生成的画面骨子也反应不同。

3、长视界牵挂

Genie 2 不详记着视线中不再存在的天下部分，并在它们再次可见时准确呈现。

4、使用重生成的骨子生成长视频

Genie 2 可动态生成新的合理骨子，并在长达 1 分钟的工夫内保管一致的天下。

5、千般化环境

Genie 2 可创建不同的视角，举例第一视角、等距视图或第三视角驾驶视频。

6、3D 结构

Genie 2 会创建复杂的 3D 视觉场景。

7、模拟对象相互作用

Genie 2 能模拟各式物体的相互作用，举例爆破气球、大开门和射击火药桶。

8、变装动画

Genie 2 学习了怎么为不同类型的变装制作动画来引申不同的行径。

9、NPC

Genie 2 不详模拟其他 agent，致使与它们进行复杂的交互。

10、物理

Genie 2 模拟水遵循。

11、烟雾

Genie 2 模拟烟雾遵循。

12、重力

Genie 2 模拟重力。

13、灯光

Genie 2 模拟光点和定向照明。

14、反射

Genie 2 模拟反射、喷雾减光和彩色灯光。

二、清楚物理天下相反，可将主见图转动成交互式环境

Genie 2 模子可快速创建各式交互体验的原型。举例用 Imagen 3 生成不同图像，让 Genie 2 生成模拟纸飞机、龙、鹰、降落伞遨游的视频。不错看到 Genie 2 生成的视频不详清楚并模拟出它们遨游的相反。

主见艺术和画图也不错被 Genie 2 转动周密齐交互式环境，以便艺术家、盘算师能快速制作商榷环境主见的原型。

三、AI agent 也能玩，为具身智能提供绝佳磨练场

Genie 2 可快速为 AI agent 创建丰富千般的环境，从而生成 agent 在磨练工夫未见过的评估任务。

举例，Google DeepMind 与游戏建树商配合建树了 SIMA agent。SIMA agent 被盘算成通过盲从当然言语指示来完成一系列 3D 游戏天下中的任务，因此不错在 Genie 2 合成的、未见过的环境引申指示。

输入底下 Imagen 3 生成的第三通达天下探索游戏图，Genie 2 可生成一个带有两扇门（一扇是红门，一扇是蓝门）的 3D 环境。

然后向 SIMA agent 忽视大开某扇门的指示，Genie 2 则能生成稳妥条件的画面。

在这个示例中，SIMA 通过键盘和鼠标输入狂放变装，而 Genie 2 生成游戏帧。

也不错使用 SIMA 来匡助评估 Genie 2 的功能。通过指导 SIMA 环视四周、探索房屋背面等，测试 Genie 2 生成一致环境的本领。

再比如凭据底下这张图来生成视频。

输入不同教唆词"上楼"、"去有植物的方位"、"走中间门"，Genie 2 会生成对应的不同视频画面。

固然这项商榷仍处于早期阶段，agent 和环境生成本领齐还有很大的更动空间，但 Google DeepMind 确信 Genie 2 是处步骤全磨练具体 agent 的结构性问题的阶梯，同期驱散迈向 AGI 所需的广度和通用性。

结语：天下模子，AI 限度的下一件大事

游戏是安全测试和股东 AI 本领的理念念环境。磨练更通器用身 agent 的传统瓶颈在于穷乏填塞丰富和千般化的磨练环境。

Google DeepMind 正将越来越多资源进入于天下模子商榷。Genie 2 展示了基础天下模子在创建千般化 3D 环境、定制交互式游戏场景、加快 agent 商榷等方面的后劲，可让畴昔的 Agent 在无穷的新天下中经受磨练和评估。

该商榷标的尚处于早期阶段，Google DeepMind 策动在通用性和一致性方面不时更动 Genie 的天下生成本领。

与 SIMA 通常，其商榷戮力于构建更通用的 AI 系统和 agent，使其不详清楚和安全地引申各式任务，从而匡助在线和践诺天下中的东谈主们。

Google DeepMind 还放了一些道理的"彩蛋"：Genie 2 生成出一些奇怪视频，比如莫得给与行径的情况下一个幽灵出现时花圃，在雪场的东谈主物变装比较滑雪更爱跑酷、一个魔法球把周遭炸成灰。

起头：Google DeepMind欧洲杯体育