Virtual Production: Podcasts in KI-Welten mit Unreal Engine
Es gibt Tage, an denen wir nicht nur produzieren, sondern experimentieren – um die Grenzen dessen, was in unserem Studio möglich ist, neu zu definieren. Im Dezember haben wir genau das getan: Ein Virtual Production Testtag, der zeigen sollte, wie wir Video-Podcasts aus dem klassischen Studio in völlig neue, KI-generierte Welten transportieren können.
Unser Ziel war ambitioniert: Wir wollten herausfinden, wie wir Marble World Labs nutzen können, um aus einfachen Bild-Inputs komplexe 3D-Welten zu erschaffen und diese für professionelle Podcast-Produktionen nutzbar zu machen.
Die Herausforderung: Gaussian Splats und Kameraperspektiven
Die Technologie dahinter ist faszinierend. Wir laden ein Bild in Marble Worlds, und die KI generiert daraus eine 3D-Welt, die als sogenannter Gaussian Splat exportiert wird. Das sieht auf den ersten Blick beeindruckend aus, bringt aber im professionellen Einsatz Tücken mit sich.
Bei einem typischen Podcast-Setup arbeiten wir mit zwei Close-Ups und einer Totalen. Da sich die Blickwinkel der Kameras hierbei kreuzen, schauen wir zwangsläufig aus Perspektiven in die digitale Welt, für die die KI nicht immer perfekte Daten berechnet hat. Das Ergebnis: visuelle Artefakte und unschöne Bildfehler im Hintergrund. Wir brauchten also eine Lösung, die diese technische Limitierung umgeht, ohne die Immersion zu brechen.
Unser Hack: Die virtuelle Glaskuppel in Unreal Engine
Unsere Lösung ist so simpel wie effektiv: Wir haben in der Unreal Engine eine virtuelle Glaskuppel konstruiert – eine Art Stahlkonstruktion mit trübem Glas. Diese Kuppel platzieren wir im Level genau dort, wo unser "Set" stehen soll.
Der Clou dabei ist zweigeteilt:
- Visuelle Kaschierung: Durch das trübe Glas und die Struktur der Kuppel werden die Artefakte der KI-Welt im Hintergrund weichgezeichnet oder verdeckt. Die Atmosphäre der Welt bleibt erhalten, aber die technischen Unsauberkeiten verschwinden.
- Licht-Kontrolle: Innerhalb dieser virtuellen Kuppel können wir eine Studiolicht-Situation simulieren, die exakt deckungsgleich mit unseren realen Scheinwerfern im Studio B ist.
Das bedeutet für uns enorme Flexibilität. Wir können an einem Drehtag durch vier oder fünf völlig unterschiedliche Welten "reisen", ohne unser Lichtsetup im realen Studio umbauen zu müssen. Die Beleuchtung in der Kuppel bleibt konstant, während sich die Welt draußen verändert.
Tracking und Technik: Wenn Realität auf Virtualität trifft
Damit das Ganze funktioniert, muss die physische Kamera natürlich exakt wissen, wo sie sich in der virtuellen Kuppel befindet. Hier kommt unser Tracking-Setup ins Spiel. Mit HTC Vive Trackern auf unseren Kameras synchronisieren wir jede Bewegung im Real-Life millimetergenau mit der Unreal Engine.
In unserem Testlauf haben wir uns die Unterstützung von Selina geholt, die sich gemeinsam mit Fabio in das Set gesetzt hat. Das Ergebnis hat uns bestätigt: Durch den Einsatz der Glaskuppel hatten wir deutlich weniger Problematik mit den Artefakten und konnten eine stimmige Integration der Personen in die KI-Umgebung erreichen.
Ausblick: Podcasts in Erinnerungswelten
Warum machen wir das alles? Weil wir Video-Podcasts nicht nur als "Gespräch vor einer Wand" verstehen, sondern als visuelles Storytelling.
Ein konkreter Use-Case, den wir in Zukunft anbieten wollen, sind "Erinnerungswelten". Stellt euch vor, wir interviewen einen Gast über seine Kindheit. Er schickt uns vorab ein Foto seines alten Kinderzimmers oder seiner Schule. Wir wandeln dieses Foto in eine 3D-Welt um, setzen das Podcast-Set hinein, und das Gespräch findet visuell genau an dem Ort statt, über den gerade gesprochen wird.
Wir erweitern damit unser Studio von einem reinen Real-Set zu einem Portal in unendliche viele Locations. Egal ob futuristisches Design oder nostalgische Erinnerung – wir sind bereit für die nächste Stufe der Podcast-Produktion.