Inhaltsfilter (Content Moderation)

Ein Inhaltsfilter, im Englischen Content Moderation, ist ein System, mit dem ein KI-Anbieter prüft, was Nutzer eingeben und was das Modell erzeugt. Er blockiert Prompts, hochgeladene Bilder oder fertige Videos, die gegen die Nutzungsrichtlinien verstoßen. Typisch gesperrt sind sexuelle Inhalte, Gewaltdarstellungen, Hass, Inhalte mit Minderjährigen und realistische Abbilder bekannter oder echter Personen.

Wie funktionieren Inhaltsfilter?

Meist arbeiten mehrere Stufen zusammen. Zuerst wird der Prompt geprüft, oft mit Wortlisten und einem Sprachmodell, das die Absicht einschätzt. Hochgeladene Bilder durchlaufen eine Bilderkennung, die zum Beispiel Gesichter bekannter Personen oder Nacktheit erkennt. Nach der Generierung prüft ein weiterer Klassifikator das fertige Video. Schlägt eine Stufe an, bekommst du eine Fehlermeldung, und je nach Anbieter werden dabei trotzdem Credits verbraucht. Wiederholte Verstöße können zur Sperrung des Kontos führen.

Warum setzen Anbieter Filter ein?

Anbieter wollen verhindern, dass ihre Tools für Deepfakes, Betrug, Belästigung oder illegale Inhalte genutzt werden. Dahinter stehen eigene Richtlinien, Haftungsrisiken und gesetzliche Vorgaben. Die EU-KI-Verordnung verlangt zum Beispiel in Art. 50 Transparenz bei Deepfakes und eine maschinenlesbare Markierung von KI-Inhalten. Filter sind ein Teil davon, wie Anbieter Missbrauch begrenzen.

Worauf du achten solltest

Filter sind nicht fehlerfrei. Sie blockieren manchmal harmlose Prompts, etwa medizinische Begriffe oder historische Szenen, und lassen umgekehrt problematische Inhalte durch. Wenn ein Prompt abgelehnt wird, hilft oft eine sachlichere Formulierung. Versuche nicht, Filter gezielt zu umgehen, denn das verstößt in der Regel gegen die Nutzungsbedingungen.

Wie streng ein Tool filtert, unterscheidet sich stark. Bei selbst betriebenen Open-Source-Modellen entscheidest du selbst über Filter, trägst aber auch die Verantwortung. Ein fehlender Filter macht einen Inhalt nicht erlaubt. Persönlichkeitsrechte, Urheberrecht und Strafrecht gelten unabhängig davon. Mehr dazu im Ratgeber Rechtliches bei KI-Videos.