Diffusion Transformer (DiT)

Ein Diffusion Transformer, kurz DiT, ist ein Diffusionsmodell, bei dem ein Transformer die eigentliche Rechenarbeit übernimmt. Das Modell erzeugt Bilder oder Videos schrittweise aus Rauschen, und in jedem Schritt entscheidet der Transformer, welches Rauschen entfernt wird. Diese Bauart hat sich bei großen Videomodellen weitgehend durchgesetzt.

Woher kommt der Begriff?

Ältere Bildgeneratoren wie die ersten Versionen von Stable Diffusion nutzten als Rechenkern ein sogenanntes U-Net, ein Netz, das Bilder verkleinert und wieder vergrößert. William Peebles und Saining Xie zeigten 2022 im Paper Scalable Diffusion Models with Transformers, dass ein Transformer diese Aufgabe übernehmen kann. Ihr Ergebnis: Je größer das Modell und je mehr Rechenleistung, desto besser die Bilder. Diese gute Skalierbarkeit ist der Hauptgrund für den Erfolg der Bauart.

Wie funktioniert ein DiT bei Videos?

Das Video wird zuerst in eine komprimierte Form gebracht, den Latent Space. Diese komprimierten Daten zerlegt das Modell in kleine Blöcke, die jeweils einen Bildausschnitt über mehrere Einzelbilder abdecken. OpenAI nennt sie in seinem Bericht Video generation models as world simulators „spacetime patches“, also Raum-Zeit-Stücke. Der Transformer betrachtet alle Stücke gemeinsam und entrauscht sie Schritt für Schritt. Am Ende wird das Ergebnis wieder in echte Pixel umgerechnet.

Weil alle Stücke gemeinsam betrachtet werden, kann das Modell Bewegungen und Figuren über den ganzen Clip abstimmen. Außerdem kommt es mit verschiedenen Seitenverhältnissen, Auflösungen und Längen zurecht, ohne dass Bilder vorher zugeschnitten werden müssen.

Was bedeutet das für dich?

Für die Nutzung musst du die Architektur nicht kennen. Sie erklärt aber, warum sich Videogeneratoren in kurzer Zeit so stark verbessert haben und warum mehr Qualität fast immer mehr Rechenzeit kostet. Offene Modelle mit dieser Bauart findest du in der Kategorie Open Source.