Diffusionsmodell

Ein Diffusionsmodell ist ein Verfahren des maschinellen Lernens, das Bilder oder Videos schrittweise aus zufälligem Rauschen erzeugt. Beim Training lernt das Modell, wie man Rauschen Schritt für Schritt aus Bildern entfernt. Bei der Erzeugung läuft der Vorgang andersherum: Aus reinem Rauschen entsteht, gesteuert durch deinen Prompt, ein Bild oder eine Bildfolge.

Wie funktioniert ein Diffusionsmodell?

Im Training bekommt das Modell Millionen Bilder oder Videos, denen nach und nach immer mehr Rauschen hinzugefügt wird, bis nur noch zufällige Pixel übrig sind. Das Modell lernt dabei, für jeden Schritt vorherzusagen, welcher Anteil Rauschen ist. Die Grundlage dafür beschreibt unter anderem die Arbeit Denoising Diffusion Probabilistic Models von Ho, Jain und Abbeel aus dem Jahr 2020.

Bei der Erzeugung startet das Modell mit Rauschen und entfernt es in vielen kleinen Schritten. Ein Textmodell übersetzt deinen Prompt vorher in eine Form, an der sich jeder Schritt orientiert. So entsteht nach und nach ein Bild, das zur Beschreibung passt.

Moderne Modelle rechnen meist nicht direkt auf Pixeln, sondern in einem komprimierten Zwischenraum (latente Diffusion). Das spart Rechenzeit. Viele aktuelle Videomodelle kombinieren das Verfahren außerdem mit einer Transformer-Architektur, man spricht dann von Diffusion Transformern.

Was ist bei Video anders als bei Bildern?

Ein Video besteht aus vielen Einzelbildern, die zueinander passen müssen. Ein Videomodell entrauscht deshalb nicht Bild für Bild, sondern alle Bilder eines Clips gemeinsam. Nur so bleiben Figuren, Licht und Hintergrund über die Zeit stabil. Das kostet viel Rechenleistung und ist ein Grund, warum KI-Clips meist nur wenige Sekunden lang sind und die Erzeugung Minuten dauern kann.

Was bedeutet das für dich als Nutzer?

Für die Nutzung musst du die Technik nicht verstehen. Sie erklärt aber einige typische Effekte:

• Derselbe Prompt liefert bei jedem Durchlauf ein etwas anderes Ergebnis, weil das Startrauschen jedes Mal anders ist.
• Längere Clips und höhere Auflösung kosten mehr Credits, weil mehr Daten durch alle Schritte gerechnet werden müssen.
• Fehler wie verformte Hände, flackernde Details oder unlesbare Schrift entstehen, wenn das Modell im Rauschen falsche Strukturen „erkennt“.

Wer Diffusionsmodelle selbst ausprobieren will, findet Modelle mit offenen Gewichten in der Kategorie Open Source. Wie du sie über Prompts besser steuerst, steht im Ratgeber KI-Video-Prompts schreiben.