Matchmoving mit After Effects und dem Voodoo Camera Tracker

16 Nov 2008

Erstellt von Martin

Matchmoving, oft auch als 3D Tracking bezeichnet, sieht kompliziert aus, ist aber ein Kinderspiel. Und günstig...

Was ist Matchmoving, bzw 3D Tracking? Im Grunde ganz einfach, nur etwas schwer zu erklären :) Ich versuch es trotzdem.

Ich fang erstmal mit 2D Tracking an. Wenn man filmt, bildet man eine dreidimensionale Welt auf einer zweidimensionalen Fläche ab. Ein Video ist nicht mehr 3D, sondern einfach nur verschiedenfarbige Pixel, die sich auf einer Ebene bewegen und verändern. Hier stößt man in der Nachbearbeitung oft auf Probleme. Angenommen, man filmt einen kleinen Schwenk über eine Straße und eins der Gebäude ist eine McDonalds Filiale. Weil das Video jetzt aber für BurgerKing gedacht ist, möchte man über die McDonalds Filiale einen schwarzen Kasten legen. Was macht man? Ganz einfach! Man nutzt einen 2D Tracker, um die Bewegung der McDonalds Pixel über die Videoebene zu verfolgen. Wenn der Schwenk von links nach rechts geht, bewegen die Pixel sich auf der Videoebene von rechts nach links. Ein 2D Tracker kann diese Pixel verfolgen und erstellt einen Pfad der genau diese Bewegung der Pixel beschreibt. Jetzt erstellt man einen schwarzen Kasten in der richtigen Größe und animiert den Kasten entlang dieses Pfades und voila! der Kasten liegt während des gesamten Schwenks über den McDonalds Pixeln.

3D Tracking ist ein wenig anders. Hier wird keine Bewegung nachverfolgt. Hier wird eine Szene so analysiert, dass ein Programm die Dreidimensionalität rekonstruieren kann. Das klingt jetzt ziemlich kompliziert... Stellt euch vor ihr habt ein Video wo ihr beim filmen auf eine Person zugeht. Klar wird jeder der das Video sieht sofort erkennen, dass man sich der Person nähert. Ein Programm erkennt das nicht. Ein Programm erkennt nur, dass sich ein bestimmter Bereich von Pixeln vergrößert.

Jetzt gibt es aber Programme, in denen man Kameras simulieren kann. Eines dieser Programme ist z.B. After Effects. Läd man also ein Video und erstellt man eine Kamera, wird dieses Video in den dreidimensionalen Raum gesetzt und man erkennt, was es ist: eine Zweidimensionale Ebene ohne Tiefe. Einfach nur ein Brett vor der Kamera auf dem sich Pixel verändern.

Was aber, wenn man der simulierten Kamera den Befehl geben könnte, sich genauso zu verhalten wie die Kamera, die irgendwann mal das Video aufgenommen hat? Dann könnte man in einem 3D-Modellierungsprogramm Gegenstände basteln und diese vor die Videoebene stellen und die simulierte Kamera würde diese genauso filmen, wie sie damals das Video gefilmt hat. Das Resultat wären modellierte Gegenstände die aus den gleichen Perspektiven gefilmt werden, wie die Person, auf die der Kameramann damals filmenderweise zugelaufen ist. Die Gegenstände werden sich genauso vergrößern wie die Person, werden genauso wackeln, wie der gehende Kameramann und werden sich einfach genauso verhalten, als wären sie schon damals vor der Kamera gewesen. Mit der richtigen Farbkorrektur und Lichtanpassungen kann man auf diese Weise dreidimensionale Elemente in ein Video zaubern, die vorher einfach nicht da waren.

Genau nach diesem Prinzip werden in Hollywood Godzillas in die Innenstadt von New York geschnitten und einstürzende Kometen simuliert.

Matchmoving bzw Motion Tracking wird von einer Handvoll Software unterstützt. Eine der verbreitetsten ist Boujou von 2d3. Einziges Problem. Die Lizenz kostet 10.000 Dollar. Keine 9.999, nein 10.000. Was irgendwie schon wieder cool ist, aber nichts dran ändert, dass man für die Kohle auch ein schickes Auto bekäme, oder (je nach Dollarkurs) ca. 3000 Döner.

Zum Glück gehts auch umsonst. Und zwar nicht wegen eMule (wo denkt ihr hin), sondern wegen der Uni Hannover. Deren Laboratorium für Informationstechnologie hat nämlich ein Tool entwickelt, dass sich Voodoo Camera Tracker nennt. Im Grunde gabs sowas schon vorher. Das Programm nannte sich Ikarus, war dann aber so populär, dass eine Firma es gekauft und kommerziell gemacht hat. Also surft mal schnell auf http://www.digilab.uni-hannover.de/download.html und ladet euch das Teil runter. Wer weiß wie lange Voodoo noch kostenlos bleibt...

Ich kann leider kaum was zu dem Programm sagen, denn alles was ich bisher damit gemacht hab, war eine Bildsequenz zu importieren und auf "Track" zu klicken. Und das Ergebnis war beeindruckend. Das Tool erstellt automatisch einen ganzen Haufen Referenzpunkte in der Sequenz und analysiert das Teil Bild für Bild. Am Ende kann man das Ganze als Maya oder 3D Studio Max Script exportieren (und auch in ein paar anderen Formaten) und das dann wiederum in After Effects importieren.

Und bam! man hat eine virtuelle Kameraebene, die sich genauso verhält, wie die Kamera, die das analysierte Video mal irgendwann geschossen hat.

So ich geb jetzt Ruhe und bastel ein bisschen rum. Beispiele in Kürze.