Das Spielkonzept: Reinforcement Learning und Diffusionsmodelle
Im Kern dieser Technologie steht ein Reinforcement Learning-Agent (RL-Agent). Dieser Agent wurde darauf trainiert, DOOM zu spielen und dabei immer wieder zu lernen. Er speichert jede Spielsitzung und analysiert, wie er Schüsse vermeiden, Gefahren entkommen und mit der Umgebung interagieren kann. In diesem Lernprozess durchläuft er immer wieder dieselben Herausforderungen – durch die Wiederholung verbessert er seine Fähigkeiten.
Zusätzlich kommt ein Diffusionsmodell zum Einsatz. Dieses Modell hat die Fähigkeit, Bilder über viele Stufen hinweg durch Rauschen zu stören, um sie dann wieder in ihren ursprünglichen Zustand zurückzuführen. Das hat einen entscheidenden Vorteil – es kann vorhersagen, wie das nächste Gameplay-Frame aussehen sollte, basierend auf den vorhergehenden Bildern. Diese Technologie ermöglicht es GameNGen, alle Texturen, Farbgebungen, Modelle und alles Notwendige zur Visualisierung der DOOM-Karten in Echtzeit zu generieren.
Echtzeit-Generierung und Herausforderungen
Normalerweise werden Texturen und Modelle vorab gespeichert und beim Start jedes Levels geladen. Bei GameNGen jedoch geschieht dies in Echtzeit – ohne Vorab-Straffung oder Caching. Was passiert, wenn der Spieler eine Waffe abfeuert? Was hat das für physikalische Konsequenzen? Die KI kann all dies in Echtzeit adaptieren. Ein Feind wird in dem Moment, in dem er beschossen wird, getötet – genauso wird ein Giftfass zerstört.
YouTube-Video
Das Ganze wird lediglich von einem einzelnen Tensorverarbeitungseinheit (TPU) betrieben. Dieses Modell hat eine ähnliche Funktion wie eine GPU, ist jedoch speziell für KI-Anwendungen konzipiert. Trotz der beeindruckenden Neuerung erreicht GameNGen nur 20 fps. Das ist noch weit entfernt von den 60 fps, die heute für modernes Gaming als Standard gelten. Interessanterweise lief die ursprüngliche Version von DOOM nur mit maximal 35 fps.
Gedächtnis und Training des KI-Agenten
Die Speicherkapazität ist eine weitere Herausforderung – die KI kann nur etwa drei Sekunden an Spielverlauf „merken“, bevor sie diese Informationen „vergisst“. Das führt manchmal zu fehlerhaften Ergebnissen, selbst wenn die KI viele Daten inferieren kann, wie etwa die Anzahl der Munition. Das Training des RL-Agenten zeigt ebenfalls Schwächen. Die Art und Weise, wie er programmiert wurde, führt dazu, dass nicht alle Spielorte und Interaktionen erfasst werden. Der Agent hat immer Zugriff auf die letzten 32 Aktionen, die er ausgeführt hat, was seine Exploration beeinträchtigt.
Wie in einem veröffentlichten Whitepaper von GameNGen angegeben, bleibt festzustellen, dass der Agent nicht in der Lage ist, alle Spielorte effektiv zu erkunden. Das führt zu Verhaltensweisen, die nicht dem Spielerlebnis eines typischen Spielers entsprechen.
Die Zukunft des Gaming mit Künstlicher Intelligenz
Die Revolution der Spieleentwicklung hat seit jeher in der Programmierung eines Spiels bestanden – Millionen von Zeilen Code wurden verfasst. Nun, mit GameNGen, haben wir das erste Mal eine Spiel-Engine, die auf einem neuronalen Modell basiert. Es könnte ein Wendepunkt in der Spielelandschaft sein.
Die Frage, die sich viele stellen, ist, ob generative KI-Game Engines die Zukunft des Gamings darstellen. Können wir uns eine Box vorstellen, die an unseren Holodeck angeschlossen ist? Gibt es bald maßgeschneiderte Spiele, die vollständig auf unsere Vorlieben abgestimmt sind? Ich kann es kaum erwarten, DOOM auf einem volumetrischen Bildschirm zu erleben!
YouTube-Video
Die Möglichkeiten erscheinen unbegrenzt. In den letzten Jahrzehnten hat sich die Gaming-Technologie rasant weiterentwickelt. KI und maschinelles Lernen sind nun an der Spitze dieser Innovation – bereit, die Art und Weise, wie wir Spiele produzieren und erleben, grundlegend zu verändern.
Der Klassiker läuft ja mittlerweile überall selbst auf Zahnbürsten. Hier auch im Browser spielbar:
Quelle: https://arxiv.org/pdf/2408.14837