Sprechende Bände: Die Produktionsvorteile und Herausforderungen des Drehs auf virtuellen Bühnen

von Matt Mulcahey in Filmemachen, Themen, Produktion am 16. März 2023

Frühjahr 2023, virtuelle Produktion

Für den Metropolis-Spezialeffektkünstler Eugen Schüfftan waren in den 1920er Jahren ein Modell, ein Spiegel und ein scharfkantiges Werkzeug die nötigen Instrumente, um filmische Wunder zu schaffen. Der in einem 45-Grad-Winkel vor der Kamera platzierte Spiegel spiegelte das Bild einer Modellstadtlandschaft wider, die sich knapp außerhalb des Bildausschnitts befand. Anschließend kratzte das Werkzeug Teile der reflektierenden Schicht des Spiegels ab, sodass nur noch Glas übrig blieb und strategisch platzierte Akteure in der Ferne zum Vorschein kamen. Als der Spiegel gefilmt wurde, schienen die Bürger von Metropolis nun auf magische Weise die kolossale urbane Dystopie zu bewohnen.

Ein Jahrhundert später ist die virtuelle Produktion die neueste Entwicklung filmischer Wunder. Auch wenn die Werkzeuge unterschiedlich sein mögen – hohe Wände aus LED-Panels und Game-Engine-Technologie ersetzen Modelle und Spiegel –, bleibt das Endziel dasselbe: am Set atemberaubende In-Camera-Composites zu erstellen.

Früher strebten unzählige Techniken dasselbe Ziel an, von der Glasmattenmalerei über erzwungene perspektivische Tricks bis hin zur Rückprojektion. Diese Techniken sind längst aus der Mode gekommen und haben sich dem Chroma-Keying zugewandt, bei dem neben praktischen Elementen am Set grüne oder blaue Bildschirme verwendet und in der Postproduktion entweder durch Fotoplatten oder computergenerierte Bilder ersetzt werden.

Die virtuelle Produktion zielt darauf ab, einen größeren Teil dieses Kompositionsprozesses in die Hauptfotografiephase zurückzubringen, indem LED-verzierte Bühnen, sogenannte Volumen, mit Bildschirmen verwendet werden, auf denen fotorealistische Inhalte angezeigt werden können, um in Echtzeit in der Kamera finale Ergebnisse zu erzielen. Die Vorteile der virtuellen Produktion erstrecken sich über das gesamte Callsheet. Schauspieler können in dynamischen Umgebungen auftreten und nicht in riesigen grünen Hohlräumen. Redakteure können Szenen schneiden, ohne monatelang auf VFX-Platten von einer Vielzahl von Anbietern warten zu müssen. Kameraleute können einen Teil der Kontrolle über Komposition und Beleuchtung zurückgewinnen, die sie der Veröffentlichung überlassen haben, während sie sich in der interaktiven Beleuchtung des Bandes sonnen.

Müssen Sie Szenen in einem U-Bahn-Wagen und in einer fernen außerirdischen Welt drehen? Mit der virtuellen Produktion können Sie den Vormittag in den Eingeweiden des New Yorker Verkehrssystems verbringen und zum Mittagessen auf Neptun sein. „Innerhalb von 10 Sekunden können Sie sich in einer anderen Welt befinden“, sagt Sam Nicholson, Veteran für visuelle Effekte und CEO/Gründer von Stargate Studios. „Wenn man es sich leisten kann, für eine einseitige Szene tatsächlich nach Paris zu fahren, wird es nicht besser werden. Aber es bietet enorme Vorteile, Sets, Orte und Tageszeiten per Knopfdruck ändern zu können.“

Möchten Sie zur magischen Stunde fotografieren, ohne dass die Uhr von Mutter Natur gnadenlos tickt? Die Lautstärke kann für ständige Morgen- und Abenddämmerung sorgen. „Der größte Feind des Kameramanns ist die Zeit. Das ist alles, wogegen wir den ganzen Tag kämpfen“, sagt der mit dem Oscar ausgezeichnete Kameramann Erik Messerschmidt, der die virtuelle Produktion bei Mindhunter, Mank und dem jüngsten Kampfpiloten-Epos „Devotion“ aus dem Koreakrieg einsetzte. „Jedes Mal, wenn ich am Set bin, wünschte ich, ich könnte die Sonne anhalten oder vorspulen oder ihr sagen, wohin sie gehen soll.“

Die Gründungsphase der virtuellen Produktion geht auf das Jahr 2013 zurück, als mehrere Projekte Komponenten verwendeten, die heute für den Prozess von entscheidender Bedeutung sind. In der ersten Staffel der Netflix-Serie „House of Cards“ wurde für die Arbeit am Auto das „Arme-Mann-Verfahren“ angewendet, bei dem auf der Bühne gedreht wurde, während das Fahrzeug von grünen Bildschirmen umgeben war. Allerdings waren an der Decke, knapp außerhalb des Rahmens, LED-Bildschirme montiert, die Hintergrundplatten abspielten, um den Schauspielern eine dynamische, interaktive Beleuchtung und realistische Reflexionen auf den Fahrzeugoberflächen zu bieten.

Im postapokalyptischen Science-Fiction-Film „Oblivion“ verpackte Kameramann Claudio Miranda das Set für den hochgelegenen, verglasten Außenposten des Protagonisten Tom Cruise in ein 500 Fuß langes Stück Musselin. Anschließend projizierte er Platten, die auf einem hawaiianischen Vulkan aufgenommen wurden, frontal auf das Material, was Echtzeit-Kompositionen ermöglichte und den Großteil der Beleuchtung des Sets lieferte.

Auf Gravity hat DP Emmanuel Lubezki einen 20 Fuß großen Würfel aus LED-Panels geschaffen, auf dem eine Vorabanimation abgespielt wurde. Die Bildschirme waren nicht von ausreichender Qualität, um als endgültige Hintergründe zu dienen, und wurden nachträglich ausgetauscht, aber die LEDs boten interaktive Beleuchtung für die gestrandete Astronautin Sandra Bullock.

Der bahnbrechende Wandel in der virtuellen Produktion erfolgte mit der Veröffentlichung von „The Mandalorian“ im Jahr 2019, der Disney+-Serie über einen intergalaktischen Kopfgeldjäger und seinen kleinen Schützling, der liebevoll Baby Yoda genannt wird. Die Hälfte der ersten Staffel wurde auf einer 20 Fuß hohen, 270-Grad-LED-Videowand in den Manhattan Beach Studios gefilmt – dem Raum, in dem der Begriff „The Volume“ erstmals verwendet wurde. Die Show stellte erstmals die virtuelle Produktionsplattform StageCraft von Industrial Light & Magic vor, die die Unreal Engine von Epic Games nutzte, um den LED-Wandinhalt zu „treiben“. StageCraft bot entscheidende neue Funktionen. Die Plattform passte die LED-Bildschirmanzeigen dynamisch an die Bewegung der Kamera an und sorgte so für die richtigen Perspektivwechsel. StageCraft bot auch in Echtzeit gerenderte, fotorealistische CG-Hintergründe, die es den virtuellen Umgebungen des Volumens ermöglichten, als „letzte Pixel“-Kompositionen in der Kamera zu dienen.

Die zunächst in großen Mengen verwendeten LED-Panels wurden aus großformatigen Displays für Live-Events und Werbetafeln umfunktioniert. „Früher wurde einem am Straßenrand Coca-Cola verkauft“, sagt Kameramann David Klein, der als zweiter Kameramann in der zweiten Staffel von „The Mandalorian“ zum Star Wars-Streaming-Universum stieß. Seitdem fungierte er als Kameramann der Haupteinheit bei Episoden von „The Book of Boba Fett“, „Skeleton Crew“ und der dritten Staffel von „The Mandalorian“. Es ist ein komplizierter Bogen für Klein, der seine Karriere bei Kevin Smiths Lo-Fi-Clerks begann und sich nun an der Spitze der Produktionstechniken befindet. „Diese Technologie ist so neu, dass sie sich von Minute zu Minute ändert“, sagt Klein. „Jedes Mal, wenn ich denke, dass ich [der „Brain Bar“, die die Lautstärke steuert] eine dumme Frage stellen werde, lautet die Antwort normalerweise: „Das hat uns noch nie jemand gefragt.“ „Wir wissen nicht, ob es das kann oder nicht.“ Und wenn nicht, dann in der Regel am nächsten Tag. Wir ändern ständig die Art und Weise, wie Dinge erledigt werden.“

Diese ständige Weiterentwicklung gilt auch für die Fähigkeiten der Videowände, die zunehmend produktionsspezifische Funktionen integrieren. „Die LED-Hersteller verstehen jetzt, wie wir ihre Produkte nutzen, und sind bereit für Anpassungen“, sagt Messerschmidt. „Es wurden alle möglichen wirklich technischen Probleme gelöst, aber zum jetzigen Zeitpunkt handelt es sich bei den Bildschirmen immer noch um vordergründig umfunktionierte Beschilderungen.“

Bei der Auswahl der besten Panels für ein bestimmtes Projekt müssen laut Virtual Production Supervisor und Nicholson eine Vielzahl von Faktoren berücksichtigt werden. „Sie beginnen mit der Frage, wie groß Ihre Bühne sein wird und wie weit Sie von der Leinwand entfernt arbeiten werden“, sagt Nicholson. „Dann muss man sich fragen, ob man ein großes Set bauen will. Was ist Ihr Sichtfeld? Werden Sie Weitwinkelobjektive oder lange Objektive verwenden? Wie groß ist Ihre Schärfentiefe? Wenn Sie tief fotografieren möchten, benötigen Sie eine höhere Auflösung. Wie wird Ihre Kamerabewegung aussehen? Handelt es sich bei der Szene um eine Kampfsequenz oder um einen Walk and Talk? Man braucht einen sehr hochfrequenten Bildschirm, wenn man so etwas wie einen Schwertkampf veranstalten will.“

Eine Schlüsselkomponente der Panels ist ihr Pixelabstand – der Abstand zwischen den Mittelpunkten benachbarter Pixel. Je kleiner der Pixelabstand, desto höher ist die Auflösung des Panels. Klein sagt, dass in den Star-Wars-Shows typischerweise Panels mit einem Pixelabstand von 2,8 mm und 5,7 mm verwendet werden. „Je höher die Auflösung, desto mehr kann man nutzen“, erklärt Klein. „Ihr Fokus kann näher an die Bildschirme gerichtet werden, bevor er unterbrochen wird, und Sie haben weniger Probleme mit Moiré.“

Für eine Serie wie „The Mandalorian“ erfordert die Erstellung der virtuellen Inhalte, die auf den Panels angezeigt werden sollen, eine längere Vorproduktionszeit. „Sobald die Abteilung für virtuelle Kunst mit der Gestaltung beginnt, dauert der Prozess fünf bis sechs Monate“, sagt Klein. „David Lowery, unser leitender Storyboard-Künstler, erstellt Storyboards für die gesamte Episode, dann erstellt das Previs-Team eine vollständige Animation der gesamten Episode – vollständige virtuelle Umgebungen, Motion-Capture-Darsteller usw. Es ist ziemlich wild. Der Regisseur und ich werden dann innerhalb dieser Animation die Aufnahmen virtuell einrichten und auch mit der Vorbeleuchtung beginnen, die größtenteils in VR auf farbgenauen Monitoren erfolgt.“

Sobald Kleins Pre-Light abgeschlossen ist, beginnt der mandalorianische Oberbeleuchter Jeff Webster – ein Veteran von fast 40 Episoden der verschiedenen Star Wars-Serien – mit seiner Arbeit. „Ich komme im Allgemeinen ein paar Wochen früher als zur regulären Vorbereitung, damit ich anfangen kann, in den VR-Bereich zu gehen und mir die Menge anzuschauen. Ich muss sicherstellen, dass die von David eingesetzten Lichtquellen im tatsächlichen Volumenraum physikalisch möglich sind“, sagt Webster. „Dann gehe ich hinein und schaue, wo sie die Kameras platziert haben und welche Objektive sie ausgewählt haben. Ich muss wissen, ob wir zum Beispiel die gesamte Decke für eine bestimmte Aufnahme sehen werden und ob ich möglicherweise mit VFX sprechen muss, um zu sehen, ob sie [einige unserer Ausrüstung] ausmalen können. Es ist ein ständiger Dialog zwischen all diesen verschiedenen Abteilungen.“

Zusätzlich zu drei StageCraft-Bänden im Großraum Los Angeles verfügt ILM über permanente Einrichtungen in Vancouver und Pinewood Studios in London. Das Unternehmen erstellt auch benutzerdefinierte Pop-ups, wie beispielsweise das in den Fox Studios Australia für Thor: Love and Thunder verwendete. Auch die weitläufigen 700 Hektar großen Trilith Studios in Atlanta – Heimat vieler Marvel-Produktionen – stiegen letztes Jahr mit ihrer Prysm Stage in die virtuelle Produktion ein. Das vollständig umschließbare Volumen machte seine Jungfernfahrt mit Francis Ford Coppolas Megalopolis. Um nicht zu übertreffen, eröffnete Amazon im Dezember Stage 15, eine 34.000 Quadratmeter große Einrichtung in LA, die ein virtuelles Location-Scouting-Volumen und ein Motion-Capture-Volumen umfasst. Die Videowand der Bühne ist 26 Fuß hoch und damit nur einen Fuß niedriger als das Vancouver-Volumen von Pixomondo.

Zusätzlich zu diesen höhlenartigen Einrichtungen haben sich Hunderte von Bühnen und Anbietern aller Formen und Größen in den virtuellen Produktionskampf eingemischt, so dass erfahrene Techniker zur Steuerung der Aufbauten derzeit die begrenzteste Ressource sind. „Es besteht kein Zweifel, dass die Bediener die magischste Komponente des Ganzen sind“, sagt Nicholson, der begonnen hat, monatliche Schulungsprogramme in Los Angeles zu veranstalten, um seine Reihen zu stärken. „Jeder kann hingehen und ein paar tausend Panels kaufen und behaupten, in der virtuellen Produktion zu sein, und es ist für Führungskräfte sehr einfach, einen Scheck für die Technologie auszustellen, aber die richtigen Leute zu finden, die sie betreiben, ist der Trick.“

Nicholsons Karriere begann vielversprechend im Jahr 1979, als er noch Student war. Bei seinem ersten Filmjob schuf er die kinetische Beleuchtung für den mehrstöckigen Warpkern der Enterprise in „Star Trek: The Motion Picture“. Er gründete Stargate Studios im Jahr 1989 mit Schwerpunkt auf visuellen Effekten, doch mittlerweile bietet das Unternehmen auch virtuelle Produktionsmöglichkeiten an. Dazu gehört die Arbeit mit einer 165 Fuß langen und 30 Fuß hohen LED-Wand auf dem Warner Bros.-Grundstück für die Piratenkomödie „Our Flag Means Death“. „Jede Show ist anders, und wir entwerfen einen Band und erstellen Inhalte, die zur Show passen, und nicht umgekehrt“, sagt Nicholson. „Wir verlangen von den Produktionen nicht, dass sie unsere Produktionsstätte extern verlagern, damit wir Magie verwirklichen können. Wir bringen die Magie auf ihre Bühne.“

In Station 19, einem ABC-Drama, das in einer Feuerwehrwache in Seattle spielt, umfasst dieser Zauber häufig Prozessaufnahmen. Aber Nicholson nutzt die virtuelle Produktion auch für Szenen auf dem Balkon der Feuerwache, wo er einen hybriden Ansatz verwendet – Greenscreen für die Gesamtaufnahmen, Lautstärke für die Medien und Nahaufnahmen. „Es gibt immer noch einige Dinge, die auf dem Green Screen besser sind. Wie bei vielen anderen Dingen ist eine Mischung wahrscheinlich das Beste“, sagt Nicholson. „Große Weitwinkelaufnahmen, verrückte Kamerawinkel und Kampfszenen, die schnelle Bewegungsunschärfe erfordern, gelingen auf Greenscreen besser.“ Die Dialogabdeckung, die bei den meisten Budgets für visuelle Effekte wahrscheinlich mindestens 50 Prozent, wenn nicht sogar mehr, ausmacht, eignet sich hervorragend für LED-Bildschirme.“

Die Technologie bringt Einschränkungen mit sich. Die aktuellen Versionen der Bildschirme funktionieren immer noch am besten, wenn sie leicht unscharf aufgenommen werden, was für das Geschichtenerzählen nicht immer ideal ist. „Je geringer die Schärfentiefe und je länger das Objektiv, desto weniger Probleme hat man“, sagt Messerschmidt. „Das gibt dem Publikum aber auch weniger Kontextinformationen. Wenn es für die Aufnahme geeignet ist, möchte ich die Grenzen und die Technologie austesten, um sie so scharf wie möglich zu machen.“

Nicholson teilt diesen Anspruch. „Unser Ziel ist Fotorealismus. Das ist die Demarkationslinie“, sagt er. „Ich möchte nicht alles mit geringer Tiefe völlig unscharf machen, nur um zu sagen: ‚Oh, schauen Sie, wir haben ein Kompositbild erhalten.‘ Ich möchte, dass es so gut ist, wie man es auf dem Greenscreen sehen würde, oder ganz nah daran.“

Ein glaubwürdiger Fokusabfall innerhalb der virtuellen Lasten ist ebenfalls eine Kunst, die Volumenwände noch nicht beherrschen müssen. „In der Vergangenheit kam es häufig zu Lautstärkeausfällen, wenn bei virtuellen Inhalten ein Objekt 200 Meter und ein anderes einen Kilometer entfernt sein sollte und beide gleichermaßen defokussiert waren“, sagt Klein.

Es ist auch problematisch, glaubwürdiges Tagessonnenlicht von außen zu erzeugen. „Offenes Sonnenlicht ist im Volumen immer noch nicht möglich. Ich weiß nicht, ob du das jemals schaffen wirst, weil du nur so viel Platz hast.“ Klein sagt: „100 mal 80 Fuß werden sehr schnell sehr klein. Man kann die Lichter nicht weit genug zurückbewegen, um das Volumen auszufüllen. Außerdem würden Sie mit so viel künstlichem Sonnenlicht die Bildschirme auswaschen und sie unbrauchbar machen. Wenn wir also direktes Sonnenlicht nutzen, sind wir auf dem Hintergrundstück.“

Webster weist auf ein weiteres Problem bei Tageslicht im Freien hin: Wenn sich Schauspieler über das Volumen bewegen, wird das „Sonnenlicht“ heller, je näher sie den Wänden kommen. „Es gibt einen Sweet Spot in der Mitte des Volumens, und wenn man sich außerhalb dieses Bereichs bewegt, wird es immer heller“, sagt Webster. „Ich weiß nicht, ob das Publikum das [bewusst] bemerken würde, aber ich denke, es würde das Gefühl haben, dass etwas nicht stimmt.“

Obwohl er sich in dem Band über „Devotion“ nicht mit Außenaufnahmen am Tag befassen musste, musste sich Messerschmidt einen neuartigen Ansatz einfallen lassen, um Sonnenlicht für die virtuellen Cockpitszenen des Films zu erzeugen. Messerschmidt und der langjährige Oberbeleuchter Danny Gonzalez entwickelten einen Plan, eine nackte Arri T12-Glühbirne zu nehmen, sie in eine Schattenbox zu legen und sie an einem Technocrane zu befestigen. Da kommt der Elektriker Evan Houth auf den Plan, den Messerschmidt als „den Typ, der mit einer Drehmaschine unterwegs ist“ beschreibt.

„Er ist einfach ein unglaublicher Tüftler“, sagt Messerschmidt. „Er hatte bereits Blechwerkzeuge in seinem Hotelzimmer, also kaufte er ein paar Blech- oder Aluminiumbleche, egal aus welchem ​​Material, und baute unsere Schattenbox. Sie steckten eine Steckdose hinein, lackierten sie mattschwarz und ließen sie für unser Sonnenlicht im Flugzeug herumfliegen.“

Ebenso wie High-Key-Situationen können niedrige Lichtverhältnisse eigene Probleme in der Lautstärke verursachen. „Jeder möchte jetzt mit einer Taschenlampe beleuchten. Ich liebe auch dezente Beleuchtung, aber die Wände mögen es nicht, niedrig zu brennen“, sagt Nicholson. „Sie beginnen buchstäblich sehr schnell zu blinken, und abhängig von der Frequenz Ihrer Wand werden Sie viele Artefakte sehen.“

Unabhängig von der Leuchtdichte spielen laut Oberbeleuchter Webster auch die LED-Panels, die nicht auf der Kamera zu sehen sind, eine Schlüsselrolle. Diese „hellen Karten“ können für zusätzliche Wirkung aufgepumpt oder für negative Füllung geschwärzt werden. „Wir machen bei jedem Schuss eine Art Karte. Ich habe mein eigenes iPad-Steuerelement, mit dem ich eine Form erzeugen und an die gewünschte Stelle manipulieren kann. Wenn ich zum Beispiel einen Schauspieler mit einem kleinen Randlicht beleuchten möchte, zeichne ich einfach eine dünne Karte direkt über ihn, direkt neben der Kamera“, erklärt Webster. „Es ist ein Traum für einen Oberbeleuchter, denn es ist, als hätte man die gesamte Bühne mit steuerbarem 270-Grad-Licht ausgestattet.“

Wenn diese Kontrolle nicht sorgfältig ausgeübt wird, besteht die Gefahr, dass Bilder entstehen, die so perfekt sind, dass sie künstlich wirken. Messerschmidt war sich dieser Gefahr bei „Devotion“ bewusst, wo er Cockpitszenen, die praktisch in historischen Flugzeugen gedreht wurden, mit solchen mischte, die auf einer virtuellen Bühne bei Trilith aufgenommen wurden. „Wenn man echte Luftaufnahmen macht, ist das chaotisch. Man kann den Sonnenstand nicht immer kontrollieren. Sie werden nicht immer perfekt beleuchtet sein. Der Hintergrund wird nicht immer genau dort sein, wo man ihn haben möchte“, sagt Messerschmidt. „Sobald wir das Volumen erreicht hatten, konnten wir wirklich alles maniküren. Also mussten wir sagen: „Machen wir es ein bisschen durcheinander“, denn es liegt in der Natur von Dreharbeiten vor Ort, dass sie unvollkommen sind. Das wollten wir mit der virtuellen Produktionsarbeit nachahmen.“

Eine ähnliche Philosophie wandte Messerschmidt bei der Platzierung seiner Volumenkameras an. „Wir wollten nicht das „Chitty Chitty Bang Bang“-Ding machen, bei dem die Kamera überall herumfliegt“, sagt er. „Wir wollten Kameras nur an Orten platzieren, an denen man sie wirklich platzieren konnte, wenn man das Flugzeug tatsächlich fliegen wollte.“

Wie bei jeder Produktionsentscheidung müssen sowohl finanzielle als auch künstlerische Überlegungen berücksichtigt werden, wenn man abwägt, ob die virtuelle Produktion das geeignete Werkzeug ist. „Im Allgemeinen ist es eine Frage, ob es kostengünstiger ist, es [als physisches Set] zu bauen oder es virtuell zu erstellen“, sagt Klein. „Es ist kein billiger Prozess, virtuelle Umgebungen zu erstellen und auf die Bildschirme zu bringen. Ich nenne Volumenarbeit ‚Prozess des reichen Mannes‘.“

Während ein Mandalorianer-großes Volumen und eine computergenerierte Fantasiewelt zur Bevölkerung der LED-Wände möglicherweise außerhalb der Preisspanne weniger finanzkräftiger Produktionen liegen, sagt Klein, dass kleinere Versionen der Technologie zunehmend für Indie-Budgets skalierbar sind. „Ich denke, alle neuen Tools werden irgendwann für unterschiedliche Budgetbereiche in diesem Geschäft geeignet sein“, sagt er. „Ich glaube nicht, dass ein vollständiger Band mit der ganzen damit verbundenen Inhaltserstellung für viele Low-Budget-Independentfilme funktionieren wird, aber kleinere, tragbare Wände und aufklappbare Teilbände könnten durchaus für Projekte jeder Größe geeignet sein .“

Nur weil die virtuelle Produktion für eine Produktion finanziell oder logistisch sinnvoll sein kann, heißt das nicht, dass die Technologie für alle Umstände ideal geeignet ist. „Ich habe mit der virtuellen Produktion oft die Erfahrung gemacht, dass die Leute denken, es sei eine schlüsselfertige Lösung für jedes Problem, dann aber auf Probleme stoßen, die der Band nicht löst, und ihre Erzähltechniken manipulieren müssen, um sie in einen virtuellen Produktionsraum zu locken“, sagt Messerschmidt . „Das ist eine wirklich umständliche Art zu arbeiten. Ich mag es nicht, in eine Situation gebracht zu werden, in der die Technologie das Geschichtenerzählen diktiert. Ich denke, das Geschichtenerzählen sollte die Technologie bestimmen.“