Multimodale KI

Multimodale KI bezeichnet Modelle, die mehrere Arten von Daten verarbeiten oder erzeugen können, zum Beispiel Text, Bilder, Video und Ton. Ein einmodales Modell arbeitet nur mit einer Datenart, etwa ein reines Sprachmodell mit Text. Ein multimodales Modell kann dagegen ein Bild und einen Text gleichzeitig als Eingabe nehmen und daraus ein Video mit passendem Ton erzeugen.

Was heißt multimodal bei KI-Videos konkret?

Bei Videogeneratoren zeigt sich Multimodalität auf zwei Seiten. Auf der Eingabeseite akzeptieren viele Modelle neben dem Prompt auch Referenzen: ein Startbild, ein Endbild, ein Foto einer Person, ein Beispielvideo für die Bewegung oder eine Tonaufnahme. Das Modell verbindet diese Informationen zu einer Szene.

Auf der Ausgabeseite erzeugen neuere Modelle nicht mehr nur ein stummes Bild, sondern gleich Geräusche, Musik oder gesprochene Dialoge dazu. Bild und Ton entstehen dabei gemeinsam, sodass zum Beispiel Schritte oder Lippenbewegungen zum Geräusch passen. Früher musstest du Ton nachträglich in einem anderen Tool erzeugen und anlegen.

Auch Chat-Assistenten sind inzwischen oft multimodal. Sie lesen Bilder, beschreiben Videos und rufen im Hintergrund ein Videomodell auf. Wie das in der Praxis aussieht, zeigen die Ratgeber KI-Videos mit ChatGPT und KI-Videos mit Gemini und Veo.

Wofür ist das nützlich?

Ein reiner Text-Prompt lässt viel Spielraum. Mit zusätzlichen Eingaben bestimmst du genauer, wie eine Figur aussieht, wie sich die Kamera bewegt oder welcher Stil gelten soll. Das ist besonders hilfreich, wenn eine Figur in mehreren Clips gleich aussehen soll oder ein Produkt exakt wiedererkennbar sein muss.

Für Werbung, Erklärvideos und Social-Media-Clips spart ein Modell, das Bild und Ton gemeinsam erzeugt, außerdem Arbeitsschritte.

Was solltest du beachten?

Nicht jedes Tool, das sich multimodal nennt, kann dasselbe. Prüfe, welche Eingaben ein Modell wirklich akzeptiert und ob es Ton nativ erzeugt oder nur eine Musikspur unterlegt. Referenzen helfen nur, wenn sie zum Prompt passen. Widersprechen sich Bild und Text, fällt das Ergebnis oft unentschlossen aus.

Wenn du Fotos realer Personen oder fremde Aufnahmen als Referenz hochlädst, gelten die üblichen Regeln zu Persönlichkeits- und Urheberrechten. Einen Überblick über Modelle und ihre Eingabemöglichkeiten findest du unter Text zu Video und KI-Plattformen.