Videos mithilfe von KI erstellen
In diesem Blogbeitrag möchte ich euch einen kurzen Überblick über die aktuell relevanten KI Tools zur Erstellung von Bewegtbildinhalten bzw. AI Videos geben.
Ich selbst beschäftige mich jetzt schon seit ein paar Jahren mit generativer künstlicher Intelligenz und bin immer wieder erstaunt, wie schnell die Entwicklung doch ist. Als KI Freelancer könnt ihr mich übrigens auch buchen, damit ich für euch das perfekte KI-Bild oder KI-Video erzeuge.
Hier seht ihr z.B. ein Video von mir, das ich zu 100% mit KI-Tools erzeugt habe:
Testverfahren und KI Prompts
Für diesen Blogbeitrag werde ich pro Workflow drei Prompts testen.(1) Ein Prompt mit viel Bewegung, der möglichst realistisch ist, (2) ein Prompt mit viel Realismus und wenig Bewegung und (3) ein anderer Prompt, der maximal surreal sein soll.
Entscheidet dann einfach selbst, welches Ergebnis euch am meisten überzeugt. Für jeden Workflow habe ich die Prompts jeweils so angepasst, dass die KI das meiner Meinung nach beste Ergebnis generiert. Diese angepassten Prompts gebe ich aus Transparenz-Gründen jeweils mit an.
Prompt 1
Medium long dolly shot, cinematic: We are looking towards a Baseball player swinging a baseball bat to hit the baseball. In the grandstand many fans in blue and green shirts watching eagerly. The ball flies towards the camera.
Prompt 2
Closeup shot, 50mm, cinematic: Old asian man smiling to the camera. In the background you see skyscrapers and cars passing by.
Prompt 3
Wide shot: A surreal landscape filled with wavy, ethereal figures that seem to flow and ripple like liquid. The colors should be vibrant yet harmonious, with a mix of iridescent hues and soft pastels. The background should be otherworldly, with floating, distorted elements.
Prompt 1
Midjourney + Runway Gen2
Midjourney ist ein KI-Tool, das aus Textbeschreibungen Bilder erstellt. Runway hingegen ist eine Plattform, die auf die Bearbeitung und Erstellung von Videos spezialisiert ist. Runway kann in Gen2 aus vorhandenen Bildern Bewegtbild-Content erzeugen. Der Prozess beginnt also mit der Erstellung einzelner Bilder in Midjourney, die dann in Runway zum Leben erweckt werden. Ich zeige euch hier zunächst die Generierung von Midjourney und dann, was Runway daraus gemacht hat.
Prompt 1: Midjourney
Medium long shot, cinematic: We are looking towards a Baseball player swinging a baseball bat to hit the baseball. In the grandstand many fans in blue and green shirts watching eagerly. The ball flies towards the camera --ar 16:9
Ergebnis
Prompt 1: Runway
Player in the foreground is hitting the baseball in slowmotion
Ergebnis, best
Ergebnis, other
Runway Gen3
Mit Runway Gen-3 kann man Videos direkt durch Prompts erstellen. Die KI generierten Videos basieren auf den beschriebenen Szenen. Bisher kann man bei Gen-3 noch keine Fotos hochladen, auf deren Grundlage Runway ein Video generiert. Es bleibt also nur der Text als Werkzeug.
Ich habe hier die Erfahrung gemacht, dass der Prompt möglichst kurz sein muss, um einigermaßen brauchbare Ergebnisse zu erzielen.
Prompt 1: Runway Gen 3
Medium long shot: Looking at a player hitting a baseball in slowmotion. In the background fans are watching.
Ergebnis, best
Ergebnis, other
PikaLabs
PikaLabs ist ein AI Text-to-Video bzw. Image-to-Video Tool, das bereits in der kostenfreien Version beliebig viele Bewegtbild-Generierungen zu lässt. Die Ergebnisse sind extrem schwankend und wenig konsistent, deswegen wird hier nur am Rande auf das Tool eingegangen.
Prompt 1: Pika Labs – Text to Video
Medium long shot: Looking at a player hitting a baseball in slowmotion. In the background fans are watching.
Prompt 1: Pika Labs – Image to Video
Ball is getting hit
Prompt 2
Prompt 2 verzichtet auf große Bewegungen, aber soll gleichzeitig einen hohen Realitätsanspruch haben. Ich gehe hier von geringeren Fehlerquoten aus, da auf Bewegungs-Beschreibungen verzichtet wird.
Midjourney + Runway Gen2
Prompt 2: Midjourney
Closeup shot, 50mm, cinematic: Old asian man smiling to the camera. In the background you see skyscrapers and cars passing by --ar 16:9
Ergebnis
Prompt 2: Runway Gen2
No prompt
Ergebnis
Runway Gen3
Prompt 2: Runway Gen3
Closeup shot, 50mm, cinematic: Old asian man smiling to the camera. In the background you see skyscrapers and cars passing by --ar 16:9
PikaLabs
Prompt 1: Pika Labs – Text to Video
Closeup shot, 50mm, cinematic: Old asian man smiling to the camera. In the background you see skyscrapers and cars passing by
Prompt 1: Pika Labs – Image to Video
hectic city
Prompt 3
Prompt 3 lässt der KI freien Lauf. Hier wollte ich einfach mal schauen, was die KI aus abstrakten Bildanweisungen macht.
Midjourney + Runway Gen2
Prompt 3: Midjourney
Wide shot: A surreal landscape filled with wavy, ethereal figures that seem to flow and ripple like liquid. The colors should be vibrant yet harmonious, with a mix of iridescent hues and soft pastels. The background should be otherworldly, with floating, distorted elements. --ar 16:9
Ergebnis
Prompt 3: Runway Gen2
abstract movement
Ergebnis
Runway Gen3
Prompt 3: Runway Gen3
Wide shot: A surreal landscape filled with wavy, ethereal figures that seem to flow and ripple like liquid. The colors should be vibrant yet harmonious, with a mix of iridescent hues and soft pastels. The background should be otherworldly, with floating, distorted elements.
Ergebnis
Fazit
Die beste Methode für Video-Generierung mit generativer KI, ist aktuell meiner Meinung nach die Kombination aus Midjourney und Runway Gen2. Midjourney ist in der Lage extrem präzise auch auf sehr ausführliche Prompts einzugehen. Runway hingegen ist wirklich super dafür geeignet diese Bilder dann in Bewegung zu versetzen. Am besten kriegt das Runway sogar komplett ohne Prompting hin.
PikaLabs ist weit abgeschlagen, aber natürlich auch eine günstige Methode, um einmal „KI-Luft“ zu schnuppern. Das ist nämlich das einzige Tool, das immer noch einen Gratis Zugang mit Wasserzeichen anbietet.
Wenn es um sehr ruhige Bewegungen, Gesichter oder abstrakte Szenen geht, erzeugt Runway Gen3 mittlerweile wirklich erschreckend gute Resultate (Siehe Portrait-Beispiel). Gen3 ist jetzt schon der Stock-Footage „Killer“ schlecht hin.
Für spezifischere Bewegungen gibt es aktuell noch keinen eindeutigen Königsweg, wie das Baseball-Beispiel eindrücklich zeigt. Hier hilft weder ein einzelnes Tool, noch eine Kombination aus verschiedenen Tools.
Es bleibt spannend, wie sich die Technologie weiterentwickelt, aber für viele Projekte kann Midjourney +Runway Gen2 oder Runway Gen3 schon jetzt eine super Wahl sein.
