Latent Space

Der Latent Space ist ein komprimierter Zahlenraum, in dem ein KI-Modell Bilder oder Videos verarbeitet, statt mit echten Pixeln zu rechnen. Ein Bild oder Clip wird dafür in eine viel kleinere Darstellung übersetzt, die nur noch die wesentlichen Merkmale enthält. Fast alle aktuellen Videogeneratoren arbeiten auf diese Weise.

Wie funktioniert das?

Ein Encoder verdichtet das Bildmaterial. Aus einem Einzelbild mit Millionen Pixelwerten wird ein deutlich kleineres Raster aus Zahlen, bei Video werden zusätzlich mehrere aufeinanderfolgende Bilder zusammengefasst. Das Diffusionsmodell arbeitet nur in diesem verdichteten Raum: Es startet mit Rauschen und entrauscht es Schritt für Schritt. Erst am Ende übersetzt ein Decoder das Ergebnis zurück in sichtbare Bilder. Encoder und Decoder gehören meist zu einem VAE, einem Variational Autoencoder.

Bekannt wurde das Prinzip durch das Paper High-Resolution Image Synthesis with Latent Diffusion Models von Rombach und Kollegen aus dem Jahr 2021, die Grundlage von Stable Diffusion. Videomodelle haben den Ansatz übernommen und um die Zeitachse erweitert.

Was bedeutet das für deine Videos?

Ohne Latent Space wären KI-Videos in heutiger Länge und Auflösung kaum bezahlbar. Die Verdichtung hat aber Folgen. Feine Details wie kleine Schrift, Gesichter im Hintergrund oder dünne Muster gehen leichter verloren, weil sie im komprimierten Raum nur grob abgebildet sind. Manche Artefakte wie verschwommene Kanten oder leichtes Flimmern entstehen erst beim Zurückrechnen durch den Decoder.

Worauf du achten solltest

Wenn Details wichtig sind, plane größere Bildausschnitte ein. Ein Gesicht in Nahaufnahme gelingt meist besser als dasselbe Gesicht klein im Bild. Für mehr Schärfe im fertigen Clip hilft ein nachträgliches Upscaling. Wer offene Modelle lokal nutzt, kann außerdem den passenden VAE wählen, was sich auf Farben und Schärfe auswirkt. Mehr dazu unter Open Source.