AI für Videos
Ein Überblick, wie du von AI für deine Videoproduktionen profitieren kannst und weshalb du Videos noch genauer auf ihre Glaubwürdigkeit begutachten musst.
AI steht für artificial intelligence, künstliche Intelligenz also. So wie AI flächendeckend in der digitalen Welt Einzug hält, macht sie auch vor Videos nicht halt. Hier ein Überblick, wie du AI für Videos einsetzen kannst und welchen Gefahren wir mit AI ausgesetzt sind.
Verbessern von Videos
Das Online-Magazin Digg veröffentlichte einen interessanten Artikel über ein Remake des Kurzfilms der Lumière Brüder “L’Arrivée d’un train en gare de La Ciotat”. Der Film wurde im Jahr 1895 mit einem Cinematographen produziert und ein Jahr darauf öffentlich gezeigt.
Mythen besagen, dass das Publikum damals davon gerannt ist, als es den herannahenden Zug auf der Leinwand betrachteten. Zum Glück sahen sie nicht das Remake von Denis Shiryaev, der mit Hilfe von AI das folgende erstaunliches Resultat erzielte:
Technologie
Ein solches Ergebnis ist nur mittels der Kombination verschiedener Technologien möglich:
Upscaling
Upscaling, das Inhalte analysiert und unter anderem mittels maschinellem Lernen mit bestehendem Bildmaterial vergleicht. Damit sind plötzlich Texturen sichtbar, die vorher nicht erkennbar waren.
Im Fotobereich sind bereits Services und Software verfügbar, die maschinelles Lernen einsetzen, um Bilder zu skalieren. Zum Beispiel Deep Image oder Topaz AI Gigapixel.
Upscaling-Software oder -Services sind auch für Videos verfügbar, zum Beispiel von Topaz Labs.
Frame-Interpolation
Nebst der Pixelauflösung eines Videos kann auch die zeitliche Auflösung verbessert werden. So kann ein Video mit 25 Bildern zum Beispiel auf 100 Bilder pro Sekunde verlangsamt werden.
Twixtor ist eines der besten verfügbaren Plugins (zum Beispiel für Premiere), die diese Interpolation mit Hilfe von Optical Flow erreicht. Twixtor bekundet allerdings Schwierigkeiten, wenn der Vordergrund nicht klar vom Hintergrund getrennt ist.
Die Shanghai Jiao Tong Universität hat in Zusammenarbeit mit der University of California, Merced und Google ein Verfahren entwickelt, um nicht existierende Bilder bei Videos mit bewegten Hintergründen zu synthetisieren. Dies, auch wenn Vordergrund und Hintergrund visuell nicht klar getrennt sind. Dies ist möglich durch eine Depth-Map, die die Tiefe der Objekte im Bild eruiert.
Entfernung von Artefakten
Rauschen, Korn oder digitale Artefakte können schon seit längerem sehr effizient entfernt werden. Eines der besten Tools ist Neat Video. Es wurde bekannt durch den wirklich ausgereiften Noise Reduction Filter. Aber eine Filmrestaurierung ist ebenso möglich. Zum Beispiel werden Kratzer, Flackern und Flecken mit wenig Aufwand fast gänzlich ausgemerzt.
Automatischer Videoschnitt
Videoediting ist eine Kunstform und Kunst wurde bislang nur von Menschenhand gemacht. Es sind Bestrebungen im Gange, AI für Videos, speziell auch für den Schnitt, einzusetzen. Erste Services sind auch schon verfügbar. Zum Beispiel bietet Magisto bereits jetzt einen automatischen Schnitt an. Noch sind keine Wunder zu erwarten! Aber gut, wenn man die Entwicklung in diesem Bereich mit wachsamem Auge verfolgt.
Automatische Videoanalysen
Mit Video AI bietet Google einen Service an, um den Inhalt von Videos zu analysieren. Dies ist besonders interessant, um in Video-Archiven die Verschlagwortung zu automatisieren und die Suche zu vereinfachen. Video AI findet nicht nur Objekte und Texte in Videos, sondern versteht auch die gesprochene Sprache und indexiert sie entsprechend. Ebenso interessant ist das automatische Transkribieren von Videos und das Generieren von Untertiteln sowie das Melden und Filtern unangemessener Inhalte.
Automatisierte Videoanalyse ist natürlich auch interessant für Marketing-Leute, die die Informationen für gezielte Werbung einsetzen können.
Sprachsynthese
Adobe gab an der Adobe Max Konferenz im 2016 einen Einblick in die Sprach-Synthese, die womöglich bald in Premiere oder Audition veröffentlich wird. Dabei wird es möglich sein, mit 20 Minuten Sprachsamples einer Person jegliche Worte und Sätze zu synthetisieren. Dies kann weitreichende Konsequenzen zum Beispiel für die ganze Sprecherzunft haben.
Deep Fakes
Deep Fakes ist eine Technik, um mit AI Videos zu erstellen, die nicht echt sind. Hier ein guter Beitrag von Bloomberg:
Fazit
Mit AI haben wir bereits jetzt unzählige Möglichkeiten, Video, Ton oder Bilder zu verbessern. AI wird in Zukunft nicht nur besser, sondern vereinfacht aufwändige Arbeiten wie das Verschlagworten (Tagging) von Videos. Mit den Deep Fakes wird aber ein neues Kapitel eröffnet im Bezug auf Glaubwürdigkeit von Videos. Wir müssen künftig noch achtsamer sein, Reales von fake zu unterscheiden!
Willst du ein Videoprofi werden?
Mit unseren Kursen zu allen Themen in der Videoproduktion kannst du dich fit machen für professionelle Videos!
Kommentare
Roman Lehmann ist seit 20 Jahren im Videobusiness. Er ist Inhaber, Produzent, Kameramann und Video-Editor bei ident pictures und Ausbildner bei Studio 1.