Video-to-Video

Video-to-Video ist ein KI-Verfahren, bei dem ein vorhandenes Video als Vorlage für ein neues dient. Das Modell übernimmt Bewegung, Bildaufbau und Timing aus dem Ausgangsclip und verändert nach deinem Prompt oder einem Referenzbild das Aussehen, etwa den Stil, die Umgebung, das Licht oder einzelne Objekte. Damit unterscheidet es sich von Text-to-Video, bei dem der Clip nur aus einer Beschreibung entsteht.

Wie funktioniert Video-to-Video?

Das Modell zerlegt das Ausgangsvideo in Informationen über Struktur und Bewegung, etwa Umrisse, Tiefe und die Bewegung von Personen und Kamera. Diese Struktur bleibt erhalten, während das Modell das Aussehen neu erzeugt. Runway hat diesen Ansatz 2023 in einem Forschungspapier zu seinem Modell Gen-1 beschrieben, bei dem ein Diffusionsmodell ein Video anhand eines Text- oder Bildprompts umgestaltet.

Heutige Tools gehen oft weiter. Neben dem kompletten Stilwechsel gibt es gezielte Änderungen: ein Objekt hinzufügen oder entfernen, die Tageszeit wechseln, die Kameraperspektive verändern oder die Bewegung einer gefilmten Person auf eine andere Figur übertragen.

Wofür brauchst du Video-to-Video?

• Stil ändern: Aus einer Handyaufnahme wird ein Zeichentrick, ein Knetanimations-Look oder eine Szene im Filmstil.
• Bewegung vorgeben: Du spielst eine Bewegung selbst vor und lässt sie auf eine KI-Figur übertragen. Das ist oft präziser, als die Bewegung per Prompt zu beschreiben.
• Umgebung austauschen: Dieselbe Szene spielt am Strand, im Büro oder auf einem anderen Planeten.
• Material aufwerten: Einfache Vorvisualisierungen oder 3D-Entwürfe werden zu realistisch wirkenden Bildern.

Damit eignet sich Video-to-Video besonders für Musikvideos, Werbeclips und Social-Media-Inhalte. Passende Tools findest du unter KI-Video-Editoren und KI-Plattformen.

Worauf du achten solltest

Die größte Schwachstelle ist die zeitliche Konsistenz. Wenn das Modell jedes Bild etwas anders umgestaltet, flackern Flächen, Gesichter oder Muster. Ruhige Aufnahmen mit klaren Konturen und gutem Licht liefern bessere Ergebnisse als verwackelte oder sehr dunkle Clips. Viele Tools verarbeiten außerdem nur kurze Abschnitte von wenigen Sekunden.

Achte auf die Rechte am Ausgangsmaterial. Wenn du fremde Videos oder echte Personen umgestaltest, brauchst du die entsprechenden Rechte und Einwilligungen. Wirkt das Ergebnis wie eine echte Aufnahme einer realen Person, kann es als Deepfake gelten und eine Kennzeichnung erfordern. Mehr dazu im Ratgeber KI-Videos und Recht.