Speech-to-Speech

Speech-to-Speech, kurz STS, ist ein Verfahren, bei dem eine KI eine vorhandene Sprachaufnahme in eine andere Stimme umwandelt. Du sprichst einen Text selbst ein, und das Modell gibt ihn mit dem Klang einer anderen Stimme wieder. Betonung, Tempo, Pausen und Emotion stammen dabei aus deiner Aufnahme.

Wie funktioniert Speech-to-Speech?

Das Modell trennt in der Aufnahme, was gesagt wird und wie es gesagt wird, von der Klangfarbe der Stimme. Die Sprechweise bleibt, die Klangfarbe ersetzt es durch die Zielstimme. Das kann eine Stimme aus der Bibliothek des Tools sein oder eine geklonte Stimme. Im Fachjargon heißt das auch Voice Conversion. Tools für Endnutzer bieten die Funktion oft unter dem Namen Voice Changer an.

Wofür nutzt du Speech-to-Speech bei KI-Videos?

Text-to-Speech liefert schnelle Ergebnisse, trifft aber nicht immer die gewünschte Betonung. Mit Speech-to-Speech gibst du die Sprechweise selbst vor. Das hilft bei Erklärungen mit bestimmten Schwerpunkten, bei Figuren mit eigener Stimme in Animationen und bei Voice-overs, die genau auf Bildwechsel passen sollen.

Auch für Charaktere in KI-Avataren oder Kurzfilmen ist das Verfahren praktisch: Eine Person spricht alle Rollen ein, und jede Rolle bekommt danach eine eigene Stimme.

Worauf du achten solltest

Die Qualität hängt stark von der Aufnahme ab. Hintergrundgeräusche, Hall und Übersteuerung übernimmt das Modell oft mit oder erzeugt daraus Artefakte. Nimm in einem ruhigen Raum mit einem ordentlichen Mikrofon auf. Sehr unterschiedliche Stimmlagen zwischen Aufnahme und Zielstimme führen eher zu unnatürlichem Klang.

Wenn die Zielstimme einer echten Person gehört, brauchst du deren Einwilligung. Mehr dazu im Ratgeber Rechtliches bei KI-Videos.