KST Moschkau GmbH, Am Burgholz 36, 52372 Kreuzau GERMANY

Virtualität

Virtualität ist eine bereits seit vielen Jahren, vor allem im Filmsektor, erprobte Technologie. Der Einsatz bei anderen Produktionen war bisher immer sehr eingeschränkt, da das Bild für TV-Studios live gerendert zur Verfügung stehen musste was aber durch die langen Rechenzeiten der Rendermaschinen nicht möglich war. Hier hat sich in den letzten Jahren viel entwickelt und mithilfe der eigentlichen Gaming Software Unreal Engine von Epic Games und verschiedenen Schnittstellen zur Umsetzung in den Studioalltag, beispielsweise mit Zero Densitys „Reality Engine“ kann nun ein hoher Fotorealismus erreicht werden, trotz Realtime-Rendering.

Für Studioproduktionen ergeben sich dadurch neue Möglichkeiten, die viele Vorteile bieten.

Virtuelle Studios ermöglichen professionelle Produktionen auf einem deutlich kleinerem Raum, als es im konventionellen Studiobau möglich wäre und sind dabei außerdem kosteneffizienter und deutlich flexibler, da in einem Studio verschiedenste Formate produziert werden können.

Mittels zusätzlich eingesetzter Robotik können die Creator außerdem deutlich flexibler arbeiten und die Produktion gewinnt an Sicherheit, Wiederholbarkeit und damit auch an optischer und Workflow-basierter Qualität.

KST betreibt im Innovation-Center ein virtuelles und XR-Studio mit integriertem CamBot.system in dem Kunden und Interessenten einen beispielhaften automatisierten und robotischen Workflow erleben können.

Komponenten

Unreal Engine

Unreal Engine, entwickelt von Epic Games, ist eine Render- und Physikengine für Videospiele. Da moderne Videospiele fast denselben Anwendungsfall wie Virtualität in der Studiowelt haben, nämlich möglichst fotorealistisch und live zu rendern, wird die Unreal Engine auch als Basis für Studio-Grafiksysteme genutzt. Mit der Unreal Engine lassen sich sowohl realistische Räume als auch ganze Außenwelten mit Flora und Fauna und realistische Licht- und Wettereffekte simulieren.

Zero Density

Zero Density bietet die Schnittstelle zwischen Unreal Engine und dem Studiogeschehen. Mit dem Produkt Reality Engine hat Zero Density ein direkt auf dem Source-Code der Unreal Engine bestehendes Studiografik-System geschaffen, welches einfach zu händeln ist, aber maximale Performance und Flexibilität bietet. Erst mit Reality wird die Unreal Engine also einfach, schnell und in einem sinnvollen Workflow für die Studiowelt nutzbar.

Mit dem Reality Keyer hat Zero Density eine eigene und revolutionäre Keying-Technologie geschaffen. Im Gegensatz zum normalen Chromakey arbeitet dieser Difference Keyer nicht mit einer grünen Farbpalette, die ausgeschnitten wird, sondern mit einem Referenzbild. Dieses Verfahren ermöglicht unter optimalen Bedingungen einen pixelperfekten Key, ohne Detailverluste wie bspw. einzelne Haare.

Eine weitere wichtige Kerntechnologie der Schnittstelle ist das Anwenden der Trackingdaten der Kamera auf die Grafik, um die Perspektive von virtueller und realer Welt zu synchronisieren. Auch hier leistet Zero Density mit der Implementierung aller gängigen Protokolle und der Kalibrierung der Kameraoptik absolut notwendige Arbeit.

KST Moschkau GmbH

Als Systemintegrator und Projekthaus ist die KST Moschkau GmbH in der Lage den Kunden optimal bei seiner Entscheidung zu beraten und das Projekt von der Grundplanung bis zum schlüsselfertigen Studio inklusive des Usertrainings komplett aus einer Hand durchzuführen. Bei einem solchen Gesamtprojekt gehen alle Teilbereiche der Moschkau Firmengruppe Hand in Hand, um das perfekte und individuell auf den Kunden abgestimmte Ergebnis zu erzielen.

Die strategische Partnerschaft mit Zero Density und Epic Games befähigt KST nicht nur zum europaweiten Vertrieb und zur Durchführung zertifizierter Trainings. Das KST-Innovation-Center ermöglicht es auch den Workflow und das Produkt aktiv weiterzuentwickeln.

Anwendungsbereiche

Virtualität kann in verschiedenster Art und Weise eingesetzt werden und ein Green Screen Studio bildet dabei nur den klassischsten Anwendungsfall.

Augmented Reality

Im Gegensatz zur rein virtuellen Realität wird bei Augmented Reality nicht der Hintergrund ausgeschnitten und ersetzt, sondern einzelne virtuelle Objekte räumlich und perspektivisch korrekt in die reale Umgebung eingebettet. Dabei kann es sich um fotorealistische komplexe Objekte mit Schattenwurf handeln, oder einfache Grafikobjekte, wie zum Beispiel Balkendiagramme, die sich vor dem Moderator aufbauen. Für Augmented Reality wird in der Regel keine Green Area benötigt, was einen flexiblen Einsatz der Grafikelemente in jeder konventionellen Studiosituation ermöglicht.

Virtual Production / Portalproduktion

Eine besondere Anwendung von Virtualität bildet die Virtual Production. Dabei ist eine Wand im Studio, in komplexen Fällen sogar alle Wände, inklusive der Decke, durch LED-Wände oder eine Großbildprojektion ausgefüllt. Anstatt den Moderator wie im Green-Screen-Studio auszuschneiden und in einen virtuellen Hintergrund einzusetzen, wird die virtuelle Welt nun direkt auf die Bildflächen gegeben. Essenziell wichtig ist dabei, dass die Perspektive der virtuellen Welt zur jeweiligen verwendeten Kamera passt. Aus der Sicht der Kamera verschwinden also die Wände und sie werden zu „Portalen“ in die virtuelle Welt. Für den äußeren Betrachter kann sich diese verzerrte Darstellung verwirrend anfühlen. Mit dieser Produktionsmethode kann man die virtuelle Umgebung in echte Reflektionen in der Aktionsfläche bringen und auch die komplette Beleuchtung des Sets über virtuelle Lichter realisieren. Auf diese Weise werden beispielsweise Werbeclips für Autos oder auch die Serie „The Mandalorian“ produziert.

Hybridanwendungen

Natürlich können alle beschriebenen Anwendungen in beliebiger Form zu Hybridanwendungen kombiniert werden. Von verwendeter Software, Workflow und Design unterscheiden sich die einzelnen Anwendungsbereiche nicht. Je nach Situation kann es also sinnvoll sein, Green Area, Projektion oder LED-Wand miteinander zu kombinieren.

Kerntechnologien

Keying

Keying beschreibt das Freistellen des Moderators oder der Objekte in der Green Area, um sie in eine andere Umgebung einzusetzen. Sie ist die wichtigste Technologie im Virtuellen Studio.

Der Realitykeyer von Zero Density ist ein Difference Keyer und arbeitet nicht mit einer grünen Farbpalette, die ausgeschnitten wird, sondern mit einem Referenzbild. Dieses Verfahren ermöglicht unter optimalen Bedingungen einen pixelperfekten Key, ohne Detailverluste wie bspw. einzelne Haare.

Dreidimensionales virtuelles Design

Einer der wichtigsten Bestandteile von Virtualität ist die Dreidimensionalität. Alle virtuellen Objekte und auch die Umgebung sind dreidimensional ausgelegt. Dies ermöglicht es sowohl der Kamera als auch dem Moderator sich frei in dieser Welt und um diese Objekte zu bewegen. Die Dreidimensionalität ist hierbei essenziell für eine richtige Perspektive und den allgemeinen Realismus. Der Designseite sind durch Verwendung der Unreal Engine einfache Tools gegeben und fast keine Grenzen gesetzt. Durch die große Community und den Content Marketplace ist es auch für kleines Geld möglich Expertise einzuholen und bereits fertig designte Objekte oder Umgebungen zu nutzen.

Green Area und Beleuchtung

Hauptbestandteil eines klassischen Virtuellen Studios ist die Green Area, eine L- oder U-förmige Hohlkehle, die in einer speziellen, möglichst homogenen und reflektionsarmen grüne Farbe gestrichen wird.

Die Green Area bestimmt dabei nur den Bewegungsradius für Moderator und physische Kameras, hat aber nichts mit der letzten Endes sichtbaren Größe des virtuellen Raumes zu tun, sodass die Green Area deutlich kleiner ausfallen kann als das später dargestellte virtuelle Studio.

Die korrekte Ausleuchtung ist der zweite wichtige Teil für einen schattenfreies und ebenmäßiges Grün, das einen optimalen Key ermöglicht. Verstellbares Licht muss im Zero Density Workflow lediglich benutzt werden, um den Moderator zusätzlich auszuleuchten oder mit Effekten zu belegen. Die optimale Grundausleuchtung für den Keyer ist ein möglichst homogenes Tageslicht, also Leuchten mit einer Temperatur von ca. 5.500 K.

Tracking

Um eine Bewegung der Kamera zu ermöglichen ist Kameratracking unabdingbar. Tracking ist in diesem Fall ein Datenstrom, der alle Raum- und Rotations-Koordinaten der Kamera enthält. Auch alle Daten zum aktuellen Zustand der Optik sind in diesem Stream enthalten. Mit diesen Daten ist die Rendermaschine in der Lage jederzeit und synchron die Perspektive der virtuellen Kamera an die der realen Kamera anzupassen. Für die Illusion eines Virtuellen Studios ist präzises Tracking obligatorisch.

Tracking findet aber nicht nur beim Kamera-Tracking Anwendung. Mit Talent-Tracking ist es auch möglich den Moderator und dessen Bewegung zu tracken. Dadurch kann sich der Moderator natürlich in der virtuellen Welt bewegen und mit virtuellen Objekten interagieren.

Rendermaschinen und Komposition

Hauptteil der Arbeitslast im Grafik-Workflow wird von der sogenannten Renderengine getragen. Dabei handelt es sich um eine rechenstarke Workstation, die jeweils für ein gerendertes Kamerabild verantwortlich ist. Aus Performance- und Redundanz-Gründen ist es empfohlen eine Renderengine pro berenderten Kamerastrang zu verwenden.

Ein besonderer Vorteil des Zero Density Workflows ist, dass sowohl der Keying-Prozess als auch das Rendern der Grafik auf derselben Maschine stattfindet. Durch diese realtime Komposition kann sich die Software intern abstimmen, was für realistische Interaktionen zwischen Kamerabild und Virtualität sorgt.

Live Operating

Wichtig ist auch die Schnittstelle zur Regie im Livebetrieb. Über die tiefreichenden Soft- und Hardwaresysteme Reality-HUB, Panasonic KAIROS und CamBot.system ist es möglich das Gesamtsystem bis ins kleinste Detail aus einer Softwareoberfläche zu konfigurieren und mittels eines, für den Operator aufbereiteten, Interfaces im Livebetrieb zu händeln, zu steuern und mit Content zu befüllen. Dabei sind auch Anbindungen an Automationssysteme und Datenbanken möglich.

Kontakt

Felix Moschkau
CTO