GameNGen

Seite 1 von 1 - Forum: Artificial Intelligence auf overclockers.at

URL: https://www.overclockers.at/artificial-intelligence/gamengen_263934/page_1 - zur Vollversion wechseln!

hynk schrieb am 28.08.2024 um 18:19

GameNGen

We present GameNGen, the first game engine powered entirely by a neural model that enables real-time interaction with a complex environment over long trajectories at high quality. GameNGen can interactively simulate the classic game DOOM at over 20 frames per second on a single TPU. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations enable stable auto-regressive generation over long trajectories.

Link: gamengen.github.io

DOOM rennt jetzt in einem MLM

Videos im Link

TOM schrieb am 28.08.2024 um 18:35

It's dreaming Doom :eek:

someone should train it on MyHouse.wad :eek:

ich find die idee neat, bin gespannt was daraus unter den kreativen spawned

charmin schrieb am 28.08.2024 um 18:43

Hihi, nice
Lustig dass Google so ein paper publiziert.
Seh aber den usecase nicht ganz

hynk schrieb am 28.08.2024 um 19:14

Ich seh es als Techdemo, nothing more.
Auf Reddit gehts schon in Richtung VR und MMOs in den Überlegungen, aber das Ding ist halt doch limitiert auf Frame Generation und erfindet keine Story, keine neuen Levels, kein neues Gameplay, etc.

TOM schrieb am 29.08.2024 um 12:12

Beim Abspielen dieses Videos werden Daten an YouTube übermittelt. Durch einen Klick auf das Video wird es automatisch abgespielt und du akzeptierst damit die Datenschutzerklärung von YouTube bzw. Google.

https://www.youtube.com/watch?v=jHS1RJREG2Q

Für Leut die das Paper nicht lesen möchten, ganz gut erklärt

Zitat aus einem Post von hynk
Ich seh es als Techdemo, nothing more [...] aber das Ding ist halt doch limitiert auf Frame Generation und erfindet keine Story, keine neuen Levels, kein neues Gameplay, etc.

Es erlernt ein World Model und generiert, was als nächstes passieren sollte.

Im Prinzip steckt dahinter (davor) ein LLM, dem kannst Instruktionen geben wie sich das Spiel entwickeln soll.

Ein world model hat es ja und sogar kurze memory states (mit ansätzen für long-term memory via screenshots)... hat schon potenzial in die richtung zu forschen imho

hynk schrieb am 29.08.2024 um 12:52

Weiter zu forschen macht auf jeden Fall Sinn.
Wenn man träumen will, kann man sich schon vorstellen, wie man sich die VR-Brille aufsetzt, sagt ich hätt jetzt bitte gern einen Deus Ex Klon und beginnt zu spielen. Abzuschätzen wie lang es dauert bis so etwas möglich wird ist halt schwer. Hat ja auch keiner geglaubt, dass so eine Engine innerhalb von Monaten und nicht Jahren oder Jahrzehnten entstehen kann.

charmin schrieb am 29.08.2024 um 14:05

Hmm. Kenn stable diffusion nur bedingt.
Aber scheint als wärs ne transformer Architektur und predicted wie bei LLMs einfach den nächsten Token, der im dem Fall halt ein Bild ist. Wennst jetzt noch die Eingabetaste als input feature hinzugeben, dann kann man sicher den nächsten Frame dahingehend anpassen.
Coole Sache jedenfalls und finds lustig dass sie es mit Soom machen.