Im Kopf des Agenten: wie Sprachmodelle Welten bauen

Du tippst: „Ein Häuschen am Bach, mit moosigem Dach und Garten.“ Eine Minute später erscheinen Blöcke in deinem Browser. Es sieht aus, als hätte der Agent das Häuschen vor seinem inneren Auge gesehen und dann gebaut.

Ganz so ist es nicht – und der Unterschied erklärt fast jede Designentscheidung in genMC.

Was ein Sprachmodell wirklich sieht#

Ein Sprachmodell liest und schreibt Tokens: kleine Textstücke. Es hat keine Augen auf deinem Build und kein 3D-Raster im Inneren. Wenn es in genMC arbeitet, kommt alles, was es über den Build weiß, als Text an – die Größe des Grundstücks, die Liste der benannten Teile, die Koordinaten deiner Markierungen – und, wenn das Modell Bilder lesen kann, die Bilder, die genMC für es rendert.

Alles, was es über Häuschen, moosige Dächer, Treppen und Gärten weiß, stammt aus dem Training: aus Milliarden Seiten Text und Code, bei vielen Modellen auch aus Bildern. Niemand hat ihm erklärt, was ein Satteldach ist. Es hat es sich angeeignet.

Das Weltmodell im Inneren#

Schiebt ein Modell nur Wörter hin und her, oder baut es eine Art inneres Bild davon, wie die Welt angeordnet ist? Die Forschung deutet auf mehr hin, als man vermuten würde.

• In der Othello-GPT-Studie wurde ein kleines Modell ausschließlich mit Zuglisten des Brettspiels Othello trainiert. Ein Brett hat es nie gesehen. Trotzdem konnten die Forschenden den aktuellen Spielstand aus seinen inneren Aktivierungen auslesen – und wenn sie diesen inneren Zustand veränderten, änderten sich die nächsten Züge des Modells passend dazu. Es hatte sich ein Brett im Kopf gebaut, weil das der beste Weg war, den nächsten Zug vorherzusagen.
• Gurnee und Tegmark fanden in großen Sprachmodellen lineare Darstellungen von Raum und Zeit: Aus der inneren Aktivität eines Modells zu einem Ortsnamen lässt sich grob ablesen, wo auf der Erde der Ort liegt, und bei einem Ereignis ungefähr, wann es stattfand.

Das meinen Leute mit einem inneren Weltmodell: ein verdichtetes, unausgesprochenes Gespür dafür, wie Dinge zueinander stehen – gelernt, weil es hilft, Text vorherzusagen. Fürs Bauen heißt das: Ein Modell „weiß“, dass ein Dach auf Mauern sitzt, dass Türen zum Weg zeigen, dass Treppen steigen und dass der Wald zur Schneegrenze hin lichter wird. Es kann sich einen Plan vorstellen.

Aber dieses innere Modell ist unscharf:

• Es ist ungefähr. Um eins verzählt, links und rechts vertauscht, eine Mauer einen Block zu kurz – das ist typisch, weil im Modell nichts ein exaktes Raster ist.
• Es ist vergesslich. Das Arbeitsgedächtnis des Modells ist sein Kontextfenster. Fünfzig Schritte in einen Build hinein ist der genaue Inhalt von Reihe 143 längst weg, wenn er nicht irgendwo aufgeschrieben steht.
• Es ist ungeprüft. Von innen kann das Modell nicht erkennen, ob sein Plan wirklich aufgeht – ob ein Raum über einer Klippe hängt oder ein Gang zu niedrig zum Durchgehen ist.

Zwei Bedeutungen von „Weltmodell“#

Der Begriff hat eine zweite Bedeutung, die gerade überall auftaucht. Systeme wie Genie 3 von DeepMind oder Oasis von Decart sind Video-Weltmodelle: Sie lernen, das nächste Bild eines Spiels aus den vorherigen Bildern und deiner Eingabe vorherzusagen. Du läufst in Echtzeit durch Welten, die es nie gab.

In diesen Systemen existiert die Welt nur als Pixel. Es gibt keine Blockliste zum Bearbeiten, nichts zum Exportieren, und die Stimmigkeit ist begrenzt: Genie 3 hält seine Welt einige Minuten stabil, und frühe Versionen von Oasis waren dafür bekannt, zu vergessen, was hinter dir lag, sobald du dich umgedreht hast.

genMC geht den umgekehrten Weg. Die Welt ist ausdrücklich: ein exaktes Raster aus Blöcken, gespeichert, versioniert, rückgängig machbar und exportierbar. Das innere Weltmodell des Sprachmodells tut, was es gut kann – sich vorstellen, planen, komponieren –, und das ausdrückliche Modell in genMC hält die Wahrheit fest. Keins von beiden würde allein reichen.

Die Schleife: vorstellen, schreiben, ausführen, anschauen, verbessern#

So arbeitet ein guter Agent in genMC, Schritt für Schritt.

1. Lesen. Er fragt das Studio nach Zustand und Kontext des Builds: Grundstücksgröße, vorhandene benannte Teile, deine Wünsche und Markierungen – markierte Blöcke kommen als exakte Quader an, so wird dein Zeigen zu Koordinaten.
2. Vorstellen und Bescheid sagen. Er macht einen Plan – erst die Silhouette, dann die großen Massen, dann Details – und postet ihn in der Agentenspalte, damit du widersprechen kannst, bevor er anfängt.
3. Ein Programm schreiben. Er verdichtet den Plan zu einem Bauprogramm: eine Schleife pro Mauer, ein Ellipsoid pro Baumkrone, Rauschen für einen Hang, Helfer für Treppen und Dächer. Ein paar hundert Zeilen Code können eine Million Blöcke setzen. Dieselben Blöcke als Koordinaten wären Millionen Tokens.
4. In der Sandbox ausführen. genMC führt das Programm abgeschottet aus, mit Zeitlimit und ohne Netzwerkzugriff. Das Ergebnis ist deterministisch – gleiches Programm, gleicher Seed, gleicher Build –, und jeder gesetzte Block muss in einem benannten Teil liegen.
5. Anschauen. Der Agent rendert das Ergebnis aus Kameras, die er selbst wählt, schneidet durch Böden und Wände und schaut sich die Bilder an. In diesem Moment trifft das unscharfe innere Modell auf die Wirklichkeit: Der Turm, den ich mir vorgestellt habe, ist dünner, als er aussieht; der Weg läuft in den Teich.
6. Prüfen. Manche Fragen haben exakte Antworten, die billig zu berechnen sind. Welche Teile hängen über tieferem Boden? Wo würde eine Tour-Kamera durch eine Wand fahren? Kann ein Spieler mit zwei Blöcken Kopffreiheit zwischen den Räumen laufen? genMC beantwortet das anhand der tatsächlichen Blöcke, nicht aus dem Gedächtnis des Modells.
7. Verbessern. Er schreibt das nächste Programm. Jeder Schritt landet in der Zeitleiste – nichts geht verloren, und du kannst jederzeit zurück.

Dem Modell die richtigen Griffe geben#

Der größte Teil der Arbeit von genMC ist Übersetzung: zwischen der Art, wie Menschen zeigen und reden, wie Modelle denken und wie Blöcke gespeichert werden.

• Koordinaten, ausgeschrieben. X zeigt nach Osten, Y nach oben, Z nach Süden, beide Ecken eines Quaders zählen mit. Mehrdeutigkeit ist genau die Stelle, an der unscharfe Modelle scheitern – also räumen wir sie weg.
• Benannte Teile als gemeinsame Wörter. Häuschen/Moosdach oder Burg/Ostturm ist ein Griff, den du, der Agent und das Studio gleichermaßen verstehen. Der Agent kann fünfzig Schritte später zu einem Teil zurückkehren, ohne die ganze Szene aus dem Gedächtnis neu herzuleiten.
• Markierungen werden Quader. Wenn du mit dem Markierwerkzeug über Blöcke malst, bekommt der Agent eine exakte, kompakte Menge von Quadern – keinen Screenshot, den er deuten müsste.
• Farbe, gemessen. „Warmer Stein, der nach oben hell wird“ ist ein Gefühl. genMC misst die Farbe jedes Blocks so, wie er im Spiel aussieht, und findet die gleichmäßigste Kette echter Blöcke zwischen zweien. Das Modell bringt den Geschmack, das Studio die Zahlen.
• Skins als Karte. Im Skin-Studio hat jede der 72 Flächen einen Namen; der Agent muss das Texturlayout eines Skins nie als Rätsel lösen.
• Revisionen als Realitätscheck. Jede Änderung nennt die Revision, auf der sie beruht. Hast du zwischendurch etwas bearbeitet, wird die Änderung abgelehnt und der Agent muss neu hinschauen. Sein Bild vom Build kann nie unbemerkt veraltet sein.

Warum das wichtig ist#

Modelle werden alle paar Monate besser im räumlichen Denken. genMC setzt nicht auf ein einzelnes Modell. Es gibt dem Agenten, den du nutzt, eine exakte Welt, ein Paar Augen und ein Lineal – und lässt die Vorstellungskraft des Modells den Rest machen. Werden die Modelle besser, werden deine Builds besser, im selben Studio.

Und das Ergebnis ist kein Traum, der verblasst, sobald du wegschaust. Es ist ein Build aus echten Blöcken, durch den du laufen kannst, den du ändern und mit nach Minecraft nehmen kannst.

Wie das im Vergleich zu anderen KI-Werkzeugen aussieht, steht in Was genMC anders macht. Die vollständigen Arbeitsregeln für Agenten findest du im Leitfaden für Agenten.

Quellen#

• Kenneth Li u. a.: Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task, ICLR 2023.
• Wes Gurnee, Max Tegmark: Language Models Represent Space and Time, 2023.
• Google DeepMind: Genie 3: A new frontier for world models, 2025.