VAE (Variational Autoencoder)

Ein VAE, ausgeschrieben Variational Autoencoder, ist ein neuronales Netz aus zwei Teilen. Der Encoder verdichtet ein Bild oder Video zu einer kompakten Zahlenform, der Decoder rechnet diese Zahlen wieder in sichtbare Bilder um. In KI-Videogeneratoren arbeitet der VAE als Kompressor vor und nach dem eigentlichen Diffusionsmodell.

Woher kommt der VAE?

Diederik Kingma und Max Welling haben das Verfahren 2013 in dem Paper Auto-Encoding Variational Bayes beschrieben. Ein gewöhnlicher Autoencoder lernt nur, Daten zu verdichten und wiederherzustellen. Der VAE ordnet die verdichteten Werte zusätzlich so an, dass ähnliche Bilder nah beieinander liegen. Dadurch ist der komprimierte Raum gleichmäßig und gut geeignet, um darin neue Inhalte zu erzeugen.

Welche Rolle spielt der VAE bei KI-Videos?

Videogeneratoren rechnen nicht mit Pixeln, sondern im sogenannten Latent Space. Den Weg dorthin und zurück übernimmt der VAE. Bei Bild-zu-Video übersetzt der Encoder dein Startbild in diese komprimierte Form. Nach dem Entrauschen wandelt der Decoder das Ergebnis in die fertigen Einzelbilder um.

Video-VAEs verdichten nicht nur jedes Bild für sich, sondern fassen auch mehrere aufeinanderfolgende Bilder zusammen. Das spart viel Rechenzeit, kann aber Bewegungsdetails verwischen. Wie gut ein Videomodell feine Strukturen, Schrift oder schnelle Bewegungen wiedergibt, hängt deshalb auch vom VAE ab, nicht nur vom Diffusionsmodell.

Worauf du achten solltest

In fertigen Web-Tools merkst du vom VAE nichts, er ist fest eingebaut. Wenn du offene Modelle lokal nutzt, etwa mit ComfyUI, musst du dagegen oft den passenden VAE auswählen. Er gehört immer zu einer bestimmten Modellfamilie und lässt sich nicht beliebig tauschen. Steht in der Anleitung zum Modell ein eigener VAE, lade genau diesen. Der Decoder braucht außerdem viel Grafikspeicher. Viele Oberflächen bieten deshalb ein Dekodieren in Kacheln an, das langsamer ist, aber weniger VRAM belegt. Offene Modelle findest du unter Open Source.