Tracking-Suits: Die Zukunft des realistischen Motion-Capturing

Sollen in Bewegtbildern organische, menschliche Regungen gezeigt werden, setzen Filmschaffende auf Motion Capture. Wir erklären die zunehmende Bedeutung von Tracking-Suits in der Filmproduktion und wie sie die Zukunft des realistischen Motion-Capturings prägen werden.

Tracking-Suits in der Film- & Videoproduktion.

Motion-Capture-Technologie, oft als Mocap abgekürzt, hat die Art und Weise, wie Filme produziert werden, grundlegend verändert.

Sie ermöglicht es uns, die Bewegungen von Schauspieler:innen in Echtzeit zu erfassen und diese Daten dann auf digitale Charaktermodelle in 3D-Animationen oder Videospielen zu übertragen. Im Zentrum dieser Technologie stehen die sogenannten Tracking-Suits oder Motion-Capture-Anzüge.

Grundlagen des Motion-Capture-Prozesses: Vox erläutert die verschiedenen Verfahren zur digitalen Abbildung menschlicher Bewegungen. Auch dabei: Tracking-Suits wie der von Rokoko.

Definition und Funktion von Tracking-Suits.

Ein Tracking-Suit ist ein speziell entwickelter Anzug, der mit verschiedenen Markern oder Sensoren ausgestattet ist – typischerweise zwischen 15 und 20 Stück – die über Kameras entweder die Bewegung abbilden oder via Datenübertragung die Gravitationskraft und Rotation der Träger:innen erfassen.

Ganz konkret sind die Versionen mit Markern und Sensoren namentlich noch nicht voneinander abgegrenzt. Gerade die Sensoren erlauben jedoch eine hohe Präzision der Bewegungserfassung, da sie jede Nuance der menschlichen Bewegung in Daten umwandeln. Diese werden dann digital übertragen und mithilfe von Software zu einer Bewegungserfassung in Echtzeit verarbeitet.

Das Ergebnis? Zum Staunen schöne Bewegtbilder.

Ihre Rolle beim Motion-Capturing.

Im Mocap sind Anzüge zur Bewegungserfassung mittlerweile unersetzlich geworden. Sie ermöglichen die höchst detaillierte und präzise Darstellung der Bewegungen eines Schauspielers oder einer Schauspielerin, einschließlich subtiler Gesichtsausdrücke und kleiner Gesten, die für die emotionale Tiefe und den Realismus digitaler Charaktere entscheidend sind.

Direkter Vergleich dank vfx express: Auch Hulk aus den Avengers-Filmen basiert auf Motion-Capture-Technologie. Marvel Studios setzte auf Marker-basierte Mocap-Anzüge, die im fertigen Produkt natürlich durch digitale Kostüme ersetzt wurden.

Die Marker-Technologie hat schon beeindruckende Motion-Capture-Charaktere wie Thanos in Avengers: Endgame und Caesar in Planet der Affen ermöglicht, indem sie die emotionalen Details in den Bewegungen der Darsteller:innen einfängt und auf die CGI-Charaktere überträgt.

Denken wir nur an Gollum aus der Filmreihe Herr der Ringe und Der Hobbit, der dank Andy Serkis‘ Schauspielkunst wirklich zum Leben erwacht: Mühelos wechselt das Wesen zwischen boshaftem Gollum und naivem Sméagol hin und her – die Grundlage für diese ausdrucksstarke Figur liefert dabei Serkis‘ übertragende Mimik und Gestik.

Vorteile von Tracking-Suits: Präzision & Flexibilität.

Im Vergleich zu Marker-Methoden in der Bewegungsdarstellung bieten Sensoren-basierte Tracking-Suits jedoch eine deutlich höhere Genauigkeit und Detailtreue.

Anders als die Modelle, die mit Markern arbeiten und über Software ausgewertet werden, bilden Sensor-Anzüge selbst die Front der technologischen Entwicklung: Sie können Bewegungen sogar ohne Kameras direkt in eine Software übertragen.

Sam von Rokoko lässt Motion Capturing einfach aussehen. Das liegt unter anderem daran, dass diese Art der smarten Tracking-Suits, die auf Sensoren basiert, deutlich unempfindlicher in der Handhabung ist als die Marker-basierten Modelle.

Marker-Systeme sind unter anderem anfällig für Probleme wie Okklusion, bei der ein Körperteil oder Marker zeitweise verdeckt wird, was zu potenziellen Ungenauigkeiten oder Lücken in den erfassten Bewegungsdaten führen kann.

Tracking-Suits mit Sensoren umgehen viele dieser Probleme, indem sie die Bewegungen direkt am Körper des Schauspielenden erfassen, ohne auf externe Kameras angewiesen zu sein.

Flexibilität und Mobilität für Schauspieler:innen.

Ein weiterer bedeutender Vorteil von Tracking-Suits ist die Flexibilität und Mobilität, die sie Schauspielenden während der Aufnahme bieten.

Da die Anzüge leicht sind und ohne ein umfangreiches Setup von Kameras oder anderen externen Geräten auskommen, können die Darsteller:innen sich frei und natürlich bewegen, zu Musik tanzen oder ihrem Ärger Luft machen.

Sensor-Tracking-Suits erlauben es Darstellenden, sich frei und teils sogar ohne Kamera zu bewegen. Dieser Clip von NOITOM MOCAP zeigt, welcher Bewegungsradius abgebildet und in die Software übertragen wird.

Diese Bewegungsfreiheit ist maßgeblich für die Erfassung authentischer und emotionaler Performances verantwortlich, durch die die Erstellung wirklich überzeugender digitaler Charaktere überhaupt erst möglich wird. Darüber hinaus lassen Tracking-Suits die digitale Aufnahme von Bewegungen in fast jeder Umgebung zu, was die Möglichkeiten für Aufnahmesessions erweitert und den kreativen Prozess flexibler macht.

Technologische Entwicklungen von Tracking-Suits und -Software.

Die neuesten technologischen Entwicklungen bei Tracking-Suits zeigen noch einmal deutliche Fortschritte in den Bereichen Sensortechnologien und Datenverarbeitung, die zu einer weiter verbesserten Genauigkeit und Effizienz in der Bewegungserfassung führen. Ein Beispiel für diese Fortschritte ist ein Motion-Capture-Anzug von Nansense, der mit bis zu 54 Sensoren ausgestattet ist, die über den gesamten Körper, einschließlich Hände und Füße, verteilt sind.

Diese Sensoren umfassen Gyroskope, Beschleunigungsmesser und Magnetometer, um die Orientierung jedes Körperteils zu bestimmen. Die Integration einer so hohen Anzahl von Sensoren ermöglicht eine außergewöhnlich genaue Erfassung der Bewegungen schon während sie ausgeführt werden, und verbessert die Ergebnisse durch fortschrittliche Nachbearbeitungsmöglichkeiten.

Viele Möglichkeiten, aber auch Herausforderungen beim Motion-Capturing-Prozess zeigt Sir Wade Neistadt – ob die Animation einzelner Körperteile, die Kombination mit Green-Screen-Methoden oder Tipps zur Datenverarbeitung.

Sensortechnologien und Datenverarbeitung für verbesserte Tracking-Suits.

Die Sensortechnologie hat auch in Bezug auf die Reduzierung von Sensor-Drift und die Verbesserung des Schutzes vor magnetischen Störungen einen Sprung nach vorn gemacht. Der Smartsuit Pro II von Rokoko beispielsweise nutzt eine Technologie, die magnetische Störsignale reduziert und die Erfassungsqualität so im Vergleich zu anderen Systemen um 24 Prozent verbessert. Entwicklungen wie diese erlauben ein glatteres Tracking und nutzen weniger Zeit und Datenvolumen in der Nachbearbeitung.

Entwicklungen durch KI und Blick in die Zukunft.

Die Zukunft des realistischen Motion-Capturings sieht vielversprechend aus, da die Technologie weiterhin Fortschritte macht. Neue Entwicklungen, wie die Nutzung von KI-Algorithmen und maschinellem Sehen, ermöglichen Motion-Capturing ohne die Notwendigkeit von Tracking-Suits oder Markern, wie es beispielsweise bei der iPhone-App Move.ai der Fall ist. Diese Entwicklungen könnten die Art und Weise, wie Motion-Capturing durchgeführt wird, weiter vereinfachen und für eine noch breitere Palette von Anwendungen und Anwender:innen zugänglich machen.

Die Demo auf dem Kanal Move AI zeigt in Echtzeit die Interpretation der Bewegungsabläufe, die die Künstliche Intelligenz bis dato abbilden kann. Wie sich die Technologie auf Datenvolumen und Urheberrecht auswirken wird, steht noch aus.

Wie wir wissen, haben KI-Algorithmen die Fähigkeit, komplexe Datenmuster zu erkennen und zu interpretieren. In Zukunft könnten sie also dabei helfen, die Daten der Sensoren intelligenter zu verarbeiten, was zu einer realistischeren und präziseren Darstellung der Bewegungen führen wird.

Anwendungsbeispiele & Erfolge: Mocap-Anzüge in Action.

Noch werden für die meisten Blockbuster Marker-Anzüge und Kameras genutzt. Neben den bereits erwähnten Werken wie Avengers: Endgame oder Der Hobbit bleibt ein Film erwähnenswert, der Motion Capture via Marker-Suits nicht nur genutzt, sondern vorangetrieben hat: James Camerons Avatar: The Way of Water.

Der zweite Teil der Avatar-Saga erschien 2022 und versetzte das Publikum wie schon sein Vorgänger 2009 ins Staunen. 13 Jahre später waren natürlich nicht nur die Schauspieler:innen gereift, auch die 3D- und Animationstechnik hatte einiges an Wegstrecke zurückgelegt.

Für den Regisseur von Titanic und Terminator nicht genug: Er ließ eigens für das Sequel Technik entwickeln, die die komplexen Unterwasserbewegungen der Darstellenden realistisch zeigen konnte – und das, während diese auch unter Wasser schauspielerten.

Plastikbälle und Luftanhalten: Was James Camerons Team und seine Schauspieler:innen alles leisten mussten, um Avatar: The Way of Water ins Kino zu bringen, zeigt eindrücklich dieses Video von Frame Voyager.

Avatar: The Way of Water nutzte Marker-Suits.

Damit die über und unter Wasser angebrachten Infrarotkameras die Marker vernünftig aufnehmen konnten, erdachte das Team um den Kanadier eine Schicht aus Plastikbällen, die auf dem Wasser treibend Lichtreflexionen unterdrückte – ein Kniff, der mit wasserfesten Tracking-Suits nicht nötig gewesen wäre. Zudem musste der Cast des Films Free Diving, also die Fähigkeit, auch ohne Atemgerät längere Zeit unter Wasser zu tauchen, erlernen. Auf diese Weise konnten die Kameras die Mimik der Schauspieler:innen ohne störende Tauchmasken erfassen.

Die Königsklasse der Motion-Capture-Technologie: Wētā FX weiß Marker-Suits nicht nur gut einzusetzen, sondern entwickelt sie und die dazugehörige Software stetig weiter. Wer noch Zweifel hat, kann sie durch dieses Showreel zerstreuen.

Zudem wurde in 48fps (48 „frames per second“) gedreht, was die anfallende Datenmenge für das Epos verdoppelte. Die Postproduktion durch Wētā FX benötigte hierzu Rechner mit einer enorm hohen Kapazität. So oder so hat sich der Aufwand gelohnt: Der Film spielte weltweit nicht nur sagenhafte 2,3 Milliarden Dollar ein und wurde dafür zum dritterfolgreichsten Film aller Zeiten gekürt, die von der Crew erdachte Technik findet mittlerweile sogar Einsatz in medizinischen Studien. Forschende nutzen die Anzüge, um den Krankheitsverlauf von Patient:innen mit Ataxien oder Muskeldystrophien zu prognostizieren.

Sensor-Tracking-Suits in Filmen & TV.

Suits, die mit Sensoren arbeiten und Schnittstellen zu zahlreichen Bearbeitungssoftwares liefern, gehören in der Filmproduktion aktuell noch nicht zum Alltag. Bedenkt man jedoch, dass

1. durch die Anzüge VFX-Aufnahmen am eigentlichen Set erfasst werden können – mit Marker-Lösungen muss das häufig vor Greenscreens passieren – und

2. daraus eine große Ersparnis entsteht – dank einfachem Setup und Integration in bestehende Szenerien schon während der Dreharbeiten, aber auch in der Postproduktion,

so ist die Entwicklung hin zum Tracking-Suit nur eine Frage der Zeit.

Freigewordene Ressourcen können dann beispielsweise in Sounddesign oder Marketing gesteckt werden. Rokoko stellte jüngst gar kostenfreie Software zur Verfügung, die vollkommen ohne Anzüge oder Anzugteile glaubhafte Motion-Capture-Bilder schafft. Im Metaverse und im Gaming-Bereich dürfte das Sensor-Tracking noch schneller Fuß fassen, da hier oftmals unabhängige, kleinere Produktionsstudios nach neuen Lösungen und Technologien suchen.

Fazit: Die Technologie entwickelt sich weiter – doch der Mocap-Suit bleibt.

Wegen der genannten Fortschritte und Vorteile werden Mocap-Suits ein zentrales Element in der Welt des Motion-Capturings werden. Sie bieten derzeit bereits unübertroffene Genauigkeit und Detailtreue bei der Erfassung menschlicher Bewegungen und Mimik, die die Schaffung realistischer und emotional ansprechender digitaler Charaktere in ihrer aktuellen Qualität überhaupt erst möglich macht.

Ihre Rolle bei der Gestaltung der Zukunft des realistischen Motion-Capturings dürfte ebenfalls von großer Bedeutung sein, da sie es Filmemachenden ermöglichen, die Grenzen der digitalen Möglichkeiten zu erweitern und Charaktere zum Leben zu erwecken, die Zuschauende faszinieren und bewegen.

Sie fragen sich, ob Sie für Ihren Premium-Unternehmensfilm einen Tracking-Suit nutzen sollten oder welche Möglichkeiten der Animation für Sie infrage kommen?

Wir informieren Sie unverbindlich zu allen Bereichen der Videoproduktion. Jetzt Kontakt aufnehmen! »