AI 玩游戲，不稀奇；AI 編游戲，也不新鮮。

但用 AI 構(gòu)建一個(gè)支持兩個(gè)人實(shí)時(shí)互動(dòng)、視角一致、邏輯同步的游戲世界？這事兒，今天才第一次發(fā)生。

以色列 Enigma Labs 團(tuán)隊(duì)今天在 X 平臺(tái)宣稱(chēng)發(fā)布全球首款由 AI 生成的多人游戲—— Multiverse（多重宇宙）。名字聽(tīng)起來(lái)就像漫威出品，玩法也確實(shí)夠科幻。

漂移、撞車(chē)，全都同步，操作互相響應(yīng)，細(xì)節(jié)還能對(duì)上幀數(shù)。

游戲里的一切，不再靠預(yù)設(shè)劇本或物理引擎控制，而是由一個(gè) AI 模型實(shí)時(shí)生成，確保兩名玩家看到的是同一個(gè)邏輯統(tǒng)一的世界。

而且 Multiverse 已經(jīng)全面開(kāi)源：代碼、模型、數(shù)據(jù)、文檔一應(yīng)俱全，全都放到了 GitHub 和 Hugging Face 上。你甚至能在自己電腦上直接跑起來(lái)。

Hugging Face CEO Cl é ment Delangue 也在 X 平臺(tái)在線打 call：

這是我今天在 Hugging Face 上看到的最酷的數(shù)據(jù)集：Gran Turismo 4 中 1 對(duì) 1 競(jìng)速的動(dòng)作標(biāo)簽，用來(lái)訓(xùn)練一個(gè)多人世界模型

車(chē)輛在賽道上不斷變換位置，超車(chē)、漂移、加速，然后再次在某個(gè)路段匯合。

那這款名為 Multiverse 的模型，究竟是怎么一回事？官方技術(shù)團(tuán)隊(duì)用一篇技術(shù)博客分享了更多構(gòu)建細(xì)節(jié)。

在此之前，我們得先介紹一下傳統(tǒng) AI 世界模型：你操作一下，它預(yù)測(cè)一下畫(huà)面需要怎樣生成。模型看你的操作、看前幾幀，然后生成下一幀。原理嘛，說(shuō)起來(lái)也不難理解：

動(dòng)作嵌入器：把玩家操作（比如你按了哪個(gè)鍵）轉(zhuǎn)成嵌入向量

去噪網(wǎng)絡(luò)：使用擴(kuò)散模型，結(jié)合操作和前幾幀畫(huà)面，預(yù)測(cè)下一幀

上采樣器（可選）：對(duì)生成畫(huà)面進(jìn)行分辨率和細(xì)節(jié)增強(qiáng)處理

但一旦引入第二名玩家，問(wèn)題就復(fù)雜了。

最典型的 bug 是，你這邊賽車(chē)剛撞上護(hù)欄，對(duì)手那邊卻還在風(fēng)馳電掣；你甩出賽道，對(duì)方卻根本沒(méi)看見(jiàn)你在哪。整個(gè)游戲體驗(yàn)就像卡了兩幀，還不同步。

而 Multiverse，正是第一款能同步兩個(gè)玩家視角的 AI 世界模型，無(wú)論哪個(gè)玩家發(fā)生了什么，另一個(gè)人都能實(shí)時(shí)在自己畫(huà)面中看到，毫無(wú)延遲、無(wú)邏輯沖突。

這也是過(guò)去 AI 模擬很難搞定的一點(diǎn)：多視角一致性。

要想解決這一點(diǎn)，構(gòu)建真正的協(xié)作式多人世界模型，Multiverse 團(tuán)隊(duì)想到了一個(gè)很聰明的的方案。他們保留了核心組件，同時(shí)把原本的「單人預(yù)測(cè)」思路全打碎重構(gòu)：

動(dòng)作嵌入器：接收兩個(gè)玩家的動(dòng)作，輸出一個(gè)整合了雙方操作的嵌入向量；

去噪網(wǎng)絡(luò)：擴(kuò)散網(wǎng)絡(luò)，同時(shí)生成兩個(gè)玩家的畫(huà)面，確保它們作為一個(gè)整體一致；

上采樣器：與單人模式類(lèi)似，但同時(shí)對(duì)兩個(gè)玩家的畫(huà)面進(jìn)行處理和增強(qiáng)。

本來(lái)，處理雙人畫(huà)面，很多人第一反應(yīng)是分屏：把兩幅畫(huà)分開(kāi)，各自生成。

這思路簡(jiǎn)單粗暴，但同步難、資源耗、效果差，但他們想到將兩個(gè)玩家的視角「縫合」成一個(gè)畫(huà)面，將他們的輸入合并為一個(gè)統(tǒng)一的動(dòng)作向量，整體當(dāng)作一個(gè)「統(tǒng)一場(chǎng)景」來(lái)處理。

具體做法是通道軸堆疊：把兩個(gè)畫(huà)面作為一張擁有雙倍顏色通道的圖像處理。

這事兒聽(tīng)著小，技術(shù)上其實(shí)非常聰明。因?yàn)閿U(kuò)散模型采用的是 U-Net 架構(gòu)，核心是卷積和反卷積，而卷積神經(jīng)網(wǎng)絡(luò)對(duì)通道維度的結(jié)構(gòu)感知能力極強(qiáng)。

換句話說(shuō)，這不是把兩個(gè)世界貼一起，而是讓模型從「神經(jīng)元底層」就知道這兩個(gè)畫(huà)面是有關(guān)聯(lián)的，是要協(xié)同生成的。最終的畫(huà)面，不用手動(dòng)對(duì)齊，天然同步。

但要讓模型預(yù)測(cè)下一幀準(zhǔn)確無(wú)誤，還得搞清楚一件事：車(chē)速和相對(duì)位置是動(dòng)態(tài)的，預(yù)測(cè)得準(zhǔn)，得有足夠的信息。他們發(fā)現(xiàn)：8 幀（30 fps 條件下）足以學(xué)習(xí)加速、剎車(chē)、轉(zhuǎn)向等運(yùn)動(dòng)學(xué)特征。

但問(wèn)題在于：超車(chē)等相對(duì)速度遠(yuǎn)比絕對(duì)速度慢得多（約 100 km/h vs 5 km/h），幀數(shù)要是太近，模型根本感知不到變化。

于是他們?cè)O(shè)計(jì)了一個(gè)折中方案 —— 稀疏采樣：

提供最近連續(xù)的 4 幀（確保即時(shí)響應(yīng)）；

再額外提供 4 幀「隔 4 幀采樣」的歷史畫(huà)面；

最早一幀距離當(dāng)前幀 20 幀，也就是約 0.666 秒前。

而要真正讓模型理解「協(xié)同駕駛」，不能只靠這些輸入數(shù)據(jù)，還得在互動(dòng)行為上做強(qiáng)化訓(xùn)練。

傳統(tǒng)單人任務(wù)（比如走路、打槍?zhuān)┲恍枰A(yù)測(cè)很短的時(shí)間窗口，比如 0.25 秒。但多人交互下，這么點(diǎn)時(shí)間變化微乎其微，根本體現(xiàn)不出「組隊(duì)感」。

Multiverse 的解法是：干脆讓模型預(yù)測(cè)長(zhǎng)達(dá) 15 秒 的行為序列，以此捕捉長(zhǎng)周期、多輪次的互動(dòng)邏輯。

訓(xùn)練方法也不是一下就上 15 秒，而是用了一套「課程式學(xué)習(xí)（curriculum learning）」策略：從 0.25 秒預(yù)測(cè)開(kāi)始，逐步延長(zhǎng)到 15 秒。這樣模型先學(xué)會(huì)汽車(chē)結(jié)構(gòu)、賽道幾何這些底層特征，再慢慢掌握玩家策略、博弈動(dòng)態(tài)這些高階概念。

訓(xùn)練完之后，模型在物體持續(xù)性、幀間一致性方面表現(xiàn)明顯提升。簡(jiǎn)而言之，不會(huì)突然車(chē)子消失，也不會(huì)前后邏輯崩壞。

如此出色的訓(xùn)練表現(xiàn)，歸功于其背后精心挑選的數(shù)據(jù)集。沒(méi)錯(cuò)，就是那款 2004 年 PS2 上的神作賽車(chē)模擬游戲：Gran Turismo 4。

當(dāng)然，為了免責(zé)，Multiverse 團(tuán)隊(duì)也沒(méi)忘記調(diào)侃自己是索尼的鐵桿粉絲。

他們的測(cè)試場(chǎng)景是筑波賽道上的 1 對(duì) 1 比賽，但問(wèn)題是 GT4 并不原生支持「1v1 視角回放」。所以他們逆向工程了一把，硬生生把游戲改造出一個(gè)真實(shí)的 1v1 模式。

接著：

每場(chǎng)比賽錄兩次，一次看自己，一次看對(duì)手；

再通過(guò)同步處理，合并為一個(gè)完整視頻，展示雙方實(shí)時(shí)對(duì)戰(zhàn)畫(huà)面。

那按鍵數(shù)據(jù)怎么辦，畢竟游戲本身沒(méi)提供操作日志。

答案是，他們利用游戲 HUD 顯示的信息（油門(mén)、剎車(chē)、方向盤(pán)指示條），通過(guò)計(jì)算機(jī)視覺(jué)，逐幀提取游戲屏幕上顯示的油門(mén)、剎車(chē)、方向條，再反推出控制指令。

也就是說(shuō)，全靠畫(huà)面信息就能還原操作，無(wú)需額外日志文件。

當(dāng)然，這個(gè)流程效率偏低，總不可能每場(chǎng)比賽都得人工錄兩遍。

他們發(fā)現(xiàn) GT4 有個(gè)隱藏功能叫 B-Spec 模式，可以讓 AI 自己開(kāi)車(chē)。于是就寫(xiě)了個(gè)腳本，給 AI 發(fā)隨機(jī)指令，讓它自己開(kāi)比賽、自己撞車(chē)、從而批量生成數(shù)據(jù)集。

順便，他們還試過(guò)用 OpenPilot 的自動(dòng)駕駛模型控制游戲角色，雖然效果不錯(cuò)，但就效率和穩(wěn)定性而言，B-Spec 更適合做大規(guī)模訓(xùn)練。

重點(diǎn)來(lái)了，談效果，不談成本，自然是耍流氓。

這么一個(gè)能跑多視角世界、畫(huà)面同步、穩(wěn)定輸出的 AI 模型，模型、訓(xùn)練、數(shù)據(jù)、推理全算上，全程只花了 1500 刀，跟買(mǎi)臺(tái)高端顯卡差不多。

Multiverse 員工 Jonathan Jacobi 在 X 上發(fā)文寫(xiě)道：

我們只用了 1500 美元就構(gòu)建了 Multiverse，關(guān)鍵不在算力，而在技術(shù)創(chuàng)新。

更重要的是，Jacobi 認(rèn)為，多人世界模型不僅是 AI 玩游戲的新方式，更是模擬技術(shù)的下一步。它解鎖了一個(gè)全新的世界：由玩家、智能體和機(jī)器人共同進(jìn)化、共同塑造的動(dòng)態(tài)環(huán)境。

未來(lái)，世界模型可能就像是虛擬版的真實(shí)社會(huì)：你與 AI 共處其中，形成真實(shí)感極強(qiáng)的「動(dòng)態(tài)宇宙」，同時(shí)也擁有接近現(xiàn)實(shí)社會(huì)的復(fù)雜互動(dòng)邏輯。

所以，你說(shuō)這事兒聽(tīng)起來(lái)是不是有點(diǎn)上頭？

附上參考地址：

GitHub：https://github.com/EnigmaLabsAI/multiverse

Hugging Face 數(shù)據(jù)集：https://huggingface.co/datasets/Enigma-AI/multiplayer-racing-low-res

Hugging Face 模型：https://huggingface.co/Enigma-AI/multiverse

官方博客：https://enigma-labs.io/blog