Audio-to-Video

Audio-to-Video ist ein Verfahren, bei dem eine KI aus einer Tonspur ein passendes Video erzeugt. Am häufigsten ist der sprechende Avatar: Du lädst eine Sprachaufnahme und ein Foto hoch, und das Modell erzeugt ein Video, in dem die Person den Text mit passenden Lippen, Mimik und Kopfbewegungen spricht. Daneben gibt es Ansätze, die zu Musik bewegte Bilder im Rhythmus erzeugen.

Wie funktioniert Audio-to-Video?

Das Modell analysiert die Tonspur, also Laute, Betonung, Pausen und Tempo, und leitet daraus Bewegungen ab. Bei Sprache steuert der Ton vor allem Mund, Gesichtsausdruck und Kopf. Bei Musik können Takt und Stimmung Schnitte, Kamerabewegungen oder Bewegungen von Figuren bestimmen. Meist gibst du zusätzlich ein Bild oder eine Figur vor, damit das Modell weiß, wie das Video aussehen soll. Damit ähnelt das Verfahren Image-to-Video, nur dass der Ton die Bewegung vorgibt statt eines Text-Prompts.

Wofür nutzt du Audio-to-Video?

Typische Einsätze sind KI-Avatare, die eine selbst gesprochene oder geklonte Stimme vortragen, Talking-Head-Videos aus vorhandenen Aufnahmen, Podcast-Ausschnitte mit sichtbarem Sprecher und animierte Figuren für Erklär- und Musikvideos. Der Vorteil gegenüber Text-zu-Avatar: Betonung und Timing kommen aus deiner echten Aufnahme und klingen dadurch natürlicher.

Worauf du achten solltest

Die Tonspur sollte sauber sein. Hintergrundgeräusche, Musik unter der Stimme oder mehrere Sprecher gleichzeitig verwirren das Modell und führen zu unpassenden Mundbewegungen. Viele Modelle erzeugen pro Durchgang nur begrenzte Längen, längere Aufnahmen musst du dann aufteilen.

Wenn du das Gesicht oder die Stimme einer echten Person verwendest, brauchst du deren Einwilligung. Je nach Einsatz kann eine Kennzeichnung als KI-Inhalt nötig sein. Mehr dazu im Ratgeber Rechtliches bei KI-Videos.