Transformer

Ein Transformer ist eine Architektur für neuronale Netze, also ein Bauplan dafür, wie ein KI-Modell Daten verarbeitet. Seine Besonderheit ist ein Mechanismus namens Attention (Aufmerksamkeit), mit dem das Modell bei jedem Teil der Eingabe prüft, welche anderen Teile dafür wichtig sind. Transformer stecken in Sprachmodellen wie ChatGPT und in vielen aktuellen Videogeneratoren.

Woher kommt der Transformer?

Vorgestellt wurde die Architektur 2017 von einem Forschungsteam bei Google in dem Paper Attention Is All You Need. Ursprünglich ging es um maschinelle Übersetzung. Ältere Verfahren lasen einen Satz Wort für Wort von vorn nach hinten. Der Transformer betrachtet dagegen alle Wörter gleichzeitig und erkennt so auch Bezüge über weite Abstände, etwa zwischen einem Pronomen und dem Substantiv, auf das es sich bezieht.

Wie hilft das bei Videos?

Ein Video lässt sich in viele kleine Stücke zerlegen, jeweils ein Bildausschnitt über einige Einzelbilder hinweg. Diese Stücke behandelt das Modell ähnlich wie Wörter in einem Satz. Über die Attention erkennt es, dass die Hand im dritten Bild zu derselben Person gehört wie das Gesicht im ersten. So bleiben Figuren, Objekte und Hintergründe über die Zeit stimmig.

In der Praxis wird der Transformer bei Videomodellen meist mit einem Diffusionsmodell kombiniert. Das Diffusionsverfahren erzeugt das Bild schrittweise aus Rauschen, der Transformer übernimmt dabei die eigentliche Rechenarbeit in jedem Schritt. Diese Kombination heißt Diffusion Transformer.

Was bedeutet das für dich?

Die Attention vergleicht jedes Stück mit jedem anderen. Doppelt so viele Stücke bedeuten für diesen Teil der Rechnung deshalb grob den vierfachen Aufwand. Das erklärt, warum Anbieter Cliplänge und Auflösung begrenzen und warum ein 10-Sekunden-Clip in 1080p deutlich mehr Credits kostet als fünf Sekunden in 720p. Wenn du Prompts für solche Modelle schreibst, hilft der Ratgeber KI-Video-Prompts.