Adobe hatte schon vor einem Jahr auf der letzten NAB die Entwicklung seiner eigenen Firefly Video-KI angekündigt, um Usern der Creative Cloud die Möglichkeit zu bieten, auch Videos per KI zu generieren und intelligent editieren zu können. Bilder können ja bereits seit etwas über einem Jahr mittels Adobes Text-zu-Bild-KI Firefly ( hier unser Erfahrungsbericht). erzeugt werden.
Woher kommt das Trainingsmaterial für KIs?
Grundlage jeder generativen KI sind ausreichende viele Trainingsdaten, für eine Video-KI also annotierte Videos. StabilityAI oder OpenAI haben es sich - so weit bekannt ist - leicht gemacht und einfach Bilder und Videos aus dem Internet heruntergeladen. Sie behaupten, dass öffentlich zugängliche Daten ohne besondere Lizenz oder finanzielle Kompensation einfach zum Training ihrer KIs verwendet werden können.
Diese Einstellung allerdings hat jetzt zu einer ganze Reihe an noch anhängigen Gerichtsprozessen geführt, deren Ausgang richtungsweisend für die Zukunft generativer KIs sein wird. Schon jetzt scheint der Gegenwind zu grösserer Vorsicht bei der Suche nach Trainingsmaterial zu führen. Zudem sind hinter den Kulissen wohl schon seit langem Inhalte wie Fotos von großen Fotoportalen (wie etwa Photoucket und Tumblr) oder für Texte (zum Beispiel von Reddit) zum Training gegen Geld lizenziert worden.
Adobe setzt auf klare Rechtslage
Adobe andererseits zielt wie kein zweiter Konkurrent auf die potentielle Kommerzialisierung der generierten Ergebnisse. Firefly wurde laut Adobe nur mit Stock-Bildern des eigenen Portals, offen lizenzierten Inhalten sowie Public Domain-Inhalten, deren Copyright abgelaufen ist, trainiert. Adobe will so sicherstellen, dass Firefly keine Inhalte generiert, die auf dem geistigen Eigentum anderer Personen oder Marken basieren und so garantieren, dass die damit generierten Inhalte für die kommerzielle Nutzung rechtlich wasserdicht sind.
Im Gegensatz dazu steht die Einstellung anderer generativer KIs, welche die von ihnen generierten Bilder quasi als "vogelfrei" ansehen, nach dem Motto: "Ihr könnt damit machen, was ihr wollt, aber ihr könnt auch keine Rechte oder eine Sicherheit vor Klagen dafür einfordern".
Was sind Videos als KI-Trainingsmaterial wert?
Um auch die rechtliche Grundlage der Trainingsdaten seiner neuen Video-KI sicherzustellen, bietet Adobe einem Bericht der Nachreichtenagentur Bloomberg zufolge jetzt Mitgliedern seines Adobe Stock-Portals Geld an, um deren Videos für das Training seiner Video-KI verwenden zu können. Gewünscht sind besonders Videos, welche Menschen bei alltäglichen Aktivitäten wie Spazierengehen, Telefonieren, Joggen oder ähnlichem zeigen, beim Interagieren mit Objekten sowie Videos, in denen Menschen Emotionen wie etwa Wut oder Trauer zeigen. Die KI soll so temporale Zusammenhänge lernen.
Adobe bietet dem Bericht zufolge 120 Dollar für 40 bis 45 Minuten Video, also ca. 3 Dollar pro Minute Video, manche speziellen Inhalte sollen Adobe aber auch bis zu 7.25 Dollar wert sein. Es scheint laut dem Bericht jedoch nicht vorgesehen zu sein, dass User, deren Videos zum Trainieren verwendet werden, später für mittels Firefly generierte Videos weitere Kompensation erhalten.
Einem Bericht von Reuters über die Suche der grossen KI-Unternehmen nach neuen Daten zum Training generativer KIs zufolge entspricht Adobes Preis in ewa dem gängigen Preis für Trainingsmaterial von 2-4 Dollar für kurze Videoclips und 100-300 Dollar für 1 Stunde Film.
Mögliche KI-Funktionen von Firefly for Video
Im folgenden Teaser hatte Adobe schon vor 1 Jahr gezeigt, welche intelligenten Funktionen per Video-KI in Adobe Premiere/After Effects integriert werden könnten:
- Text-zu-Farbe-Änderungen: Über einfache Textbefehle lassen sich Farbschemata, die Tageszeit oder sogar die Jahreszeiten in bereits aufgenommenen Videos verändern.
- Hinzufügen von "sichtbaren" Sounds: Anhand der erkannten Szene schlägt Firefly passende Atmo-Sounds vor.
- Schriftarten, Texteffekte, Grafiken und Logos: über eine Promtbeschreibung können Untertitel, Logos und Titelkarten sowie benutzerdefinierte kontextbezogene Animationen automatisch erstellt werden.
- Leistungsstarke Skript- und B-Roll-Funktionen: durch eine KI-Analyse könnten Arbeitsabläufe in der Vorproduktion, Produktion und Postproduktion teil-automatisiert werden. So ließen sich beispielsweise aus Storyboards Vorvisualisierungen erstellen oder automatisch B-Roll-Clips suchen, die zum gesprochenen Text passen.
Was die Generierung von Videos angeht, müsste Adobe, um konkurrenzfähig zu sein, von der Qualität her möglichst nahe an OpenAIs Sora, den aktuellen State-of-the-Art in Sachen Video-KI, heranrreichen. Es wird spannend zu sehen, wie gut das klappt, und wann Adobes Firefly for Video KI online gehen wird - vielleicht wird der Starttermin noch zur NAB 2024 bekanntgegeben.
