Untersuchung einer Interpolationsmethode für Videoaufnahmen zur

Untersuchung einer Interpolationsmethode
für Videoaufnahmen zur Erstellung von
künstlichen Highspeed-Videos
Studie durchgeführt von Dominik Hörner (2012)
Am Institut für Sportwissenschaften der Universität Innsbruck
Inhaltsverzeichnis
1
2
Einleitung ......................................................................................................................................... 4
1.1
Zielsetzung ............................................................................................................................... 5
1.2
Hypothese ............................................................................................................................... 6
Methode .......................................................................................................................................... 6
2.1
Verwendete Geräte ................................................................................................................. 6
2.1.1
Lukotronic ........................................................................................................................ 6
2.1.2
Casio Exilim F1 ................................................................................................................. 7
2.2
Verwendete Software ............................................................................................................. 7
2.2.1
After Effects ..................................................................................................................... 7
2.2.2
Twixtor ............................................................................................................................. 8
2.2.3
Virtual Dub....................................................................................................................... 8
2.2.4
AviSynth ........................................................................................................................... 8
2.2.5
Labview-Programm zur Digitalisierung ........................................................................... 9
2.2.6
Labview-Programm zur Interpolation ............................................................................. 9
2.2.7
Microsoft Excel 2010 ..................................................................................................... 10
2.3
Methodische Vorgehensweise .............................................................................................. 10
2.3.1
Twixtor Einstellungen .................................................................................................... 12
2.3.2
Statistische Auswertung ................................................................................................ 14
3
Ergebnisse...................................................................................................................................... 16
4
Diskussion ...................................................................................................................................... 18
4.1
5
Interpretation der Ergebnisse ............................................................................................... 18
4.1.1
Digitalisierung von Videos ............................................................................................. 18
4.1.2
Interpolationsmethoden ............................................................................................... 19
4.2
Kritikpunkte ........................................................................................................................... 21
4.3
Zusammenfassung ................................................................................................................. 22
Literaturverzeichnis ....................................................................................................................... 23
Abbildungsverzeichnis
Abbildung 1: Lukotronic MCU 200 (www.lukotronic.com) ..................................................................... 6
Abbildung 2: Casio Exilim F1 (www.exilim.de) ........................................................................................ 7
Abbildung 3: Labview-Programm zur Digitalisierung .............................................................................. 9
Abbildung 4: Labview-Programm zur Interpolation .............................................................................. 10
Abbildung 5: Twixtor Einstellungen....................................................................................................... 12
Abbildung 6: Twixtor Ungenauigkeit ..................................................................................................... 13
Abbildung 7: Twixtor mit "Alt Motion Source" ..................................................................................... 14
Abbildung 8: Vergleich Lukotronic - Interpolationsmethoden.............................................................. 16
Abbildung 9: Vergleich Digi 300 - Twixtor 60 ........................................................................................ 17
Abbildung 10: Optische Verzerrung von Weitwinkelobjektiven (Quelle: Wikipedia/Ralf Roletschek) . 19
Tabellenverzeichnis
Tabelle 1: Abweichungen Interpolationen - Lukotronic ........................................................................ 16
Tabelle 2: Abweichungen Interpolationen - Originalvideo ................................................................... 17
1
Einleitung
Die Verletzungsprophylaxe stellt einen sehr wichtigen und weitreichenden Bereich innerhalb der
Sportwissenschaften dar. Sowohl für Leistungs- als auch für Hobbysportler bedeutet eine schwere
und langwierige Verletzung, dass es zu einem erheblichen Einschnitt in das alltägliche Leben und
eventuell sogar zu einer existenziellen Bedrohung kommen kann.
Ziel vieler Sportwissenschafter ist es deshalb, Verletzungsvorgänge und Verletzungsmechanismen so
gut wie möglich zu analysieren, um daraus prophylaktische Maßnahmen abzuleiten, die dann in
Trainingseinheiten und Technikleitbilder integriert werden können.
Viele der „typischen“ Sportverletzungen sind mittlerweile gut untersucht und ihre biomechanischen
Mechanismen klar. Jedoch speziell bei einer der häufigsten und langwierigsten Verletzungen im
Sport, der Ruptur des vorderen Kreuzbandes, wird der Verletzungsmechanismus noch immer sehr
kontrovers diskutiert.
Aus diesem Grund sind in den vergangenen Jahren einige Studien verfasst worden, die mit
modernsten Analysemethoden versucht haben dieser Thematik auf den Grund zu gehen. Das
Hauptproblem besteht in diesem Feld darin, dass derartige Verletzungen selbstverständlich nicht
kontrolliert im Labor reproduziert und untersucht werden können und man stattdessen auf
Videoaufzeichnungen durch Trainer oder Fernsehen angewiesen ist. Diese Aufzeichnungen sind
jedoch eher selten und weisen zusätzlich in den meisten Fällen nicht alle Qualitätsmerkmale für eine
biomechanische Analyse auf (Bewegung in einer Ebene, Bildqualität, Synchronisation mehrerer
Aufnahmen, hohe Brennweite, hohe Bildwiederholungsrate, usw.).
Dennoch wurden, wie oben schon angesprochen, in den letzten Jahren sehr interessante Methoden
entwickelt,
um
trotzdem
möglichst
viele
kinematische
Daten
aus
den
vorhandenen
Videoaufzeichnungen herauszuholen. So entwickelte zum Beispiel eine Forschergruppe des „Oslo
Sports Trauma Research Center“ ein Verfahren, um anhand von synchronisierten Videoaufnahmen
des Verletzungsherganges ein 3D Computermodell des Sportlers und seiner Umgebung zu erstellen.
Damit gelang es zu wesentlich genaueren Daten bezüglich der vorhandenen Gelenkswinkel und
vorherrschenden Kräfte als im Vergleich zu einer normalen Videoanalyse zu kommen (Krosshaug
2005 & 2007; Koga 2010).
Eine große Schwachstelle stellt laut den Autoren jedoch noch immer die Berechnung von
Bodenreaktionskräften dar: Die realen Belastungsspitzen lassen sich hierbei durch die relativ geringe
zeitliche Auflösung von Fernsehaufnahmen (50 Hz bzw. 60 Hz.) nicht sehr gut bestimmen, da es sehr
Seite | 4
leicht vorkommen kann, dass diese genau zwischen zwei aufgezeichneten Bildern liegen und der
Maximalwert so nicht gemessen werden kann.
„The estimates of the ground-reaction forces may also contain errors. They were calculated based on
estimated accelerations of the center of mass, and the validation study has shown that estimates for
acceleration are reasonably accurate (root mean square differences less than 6 m/s²). However, the
relatively low frame rate in standard television broadcasts (50 Hz) makes it difficult to capture force
peaks, and the true maximal force peak likely lies some time before the estimated maximum.“ (Koga
2010, Seite 2221-2222)
Eine wesentlich genauere Analyse der Bodenreaktionskräfte und damit eine genauere Analyse des
Verletzungsmechanismus wäre also möglich, wenn die Bildfrequenz der Ausgangsvideos höher wäre.
1.1
Zielsetzung
Ziel dieser Studie ist es die Genauigkeit künstlich erstellter Highspeed-Videos anhand eines Vergleichs
mit den Daten eines Infrarot-Marker-Systems, den Daten eines echten Highspeed-Videos und den
Daten anderer Interpolationsmethoden zu überprüfen.
Mit dem Begriff „künstlich erstellte Highspeed-Videos“ werden im Weiteren Videoaufnahmen
bezeichnet, die von einer TV-üblichen Bildrate von 30 bzw. 60 Hertz mithilfe von After Effects (Adobe
Systems Incorporated, San Jose, California, USA) und des Plugins Twixtor (RE:Vision Effects Inc., San
Francisco, USA) auf eine Bildrate von 300 Hertz interpoliert werden.
Das Plugin Twixtor stellt in der Unterhaltungsindustrie derzeit den Standard zum Erstellen von
künstlichen Zeitlupenaufnahmen dar. Es verlangsamt und mischt nicht die bereits vorhandenen
Bilder wie andere Verfahren, sondern berechnet die notwendigen fehlenden Bilder anhand der
Veränderungen zwischen zwei aufeinanderfolgenden aufgenommenen Bildern neu.
Mit „anderen Interpolationsmethoden“ wird hier die normalerweise zur Anwendung kommende
Methode einer Spline-Interpolation von Datenreihen bezeichnet. Es werden hierbei also nicht die
Videobilder selbst interpoliert, sondern die bereits digitalisierten Daten.
Seite | 5
1.2
Hypothese
Die mit Twixtor erstellten Highspeed-Videos liefern präzisere oder gleich präzise Daten wie die
Spline-Interpolation der Daten aus normalen TV-Aufnahmen.
2
Methode
2.1
Verwendete Geräte
2.1.1
Lukotronic
Abbildung 1: Lukotronic MCU 200 (www.lukotronic.com)
Lukotronic ist ein Motion-Capture-System, das mithilfe von Infrarotmarkern Bewegungen in Echtzeit
aufzeichnen kann. Abhängig von der jeweilig verwendeten Kameraeinheit ist eine unterschiedliche
Messgenauigkeit und Aufnahmefrequenz möglich.
Im Rahmen dieser Studie wurde das „Motion Capture Unit 200“ verwendet. Damit beträgt die
maximale Messgenauigkeit des Systems 3 mm und die maximale Aufnahmefrequenz 300 Hertz.
Alle technischen Daten des MCU 200 können unter folgendem Link nachgelesen werden:
http://www.lukotronic.com/de/produkte/hardware/mcu-200.html
Seite | 6
2.1.2
Casio Exilim F1
Abbildung 2: Casio Exilim F1 (www.exilim.de)
Mithilfe dieser Digitalkamera können Highspeed-Videoaufnahmen mit verschiedenen Bildfrequenzen
und Auflösungen aufgenommen werden. In dieser Studie wurde das Highspeed-Video, das später zur
Analyse verwendet wurde, mit einer Bildfrequenz von 300 Bildern pro Sekunde aufgezeichnet. Die
Auflösung betrug dabei 512 x 384 Pixel.
Genaue technische Daten zur Kamera können hier nachgelesen werden:
http://de.exilim.eu/de/exilimhighspeed/exf1/specifications/
2.2
Verwendete Software
2.2.1
After Effects
„After Effects CS5.5 ist die führende Lösung für eindrucksvolle Grafikanimationen und kinoreife
visuelle Effekte, die Sie auf dem PC, auf der Leinwand, auf dem Fernseher oder auf mobilen
Endgeräten präsentieren können.“ (http://www.adobe.com/de/products/aftereffects.html)
In After Effects können Videos sehr vielseitig nachbearbeitet werden, weshalb dieses Programm auch
für die Verwendung des unten beschriebenen Plugins Twixtor empfohlen wird.
Seite | 7
2.2.2
Twixtor
Twixtor ist ein Multi-Plattform Plugin, mit dem Videos sehr einfach und schnell beschleunigt oder
verlangsamt werden können. Es berechnet und erstellt dabei die benötigten Bilder künstlich neu,
wodurch sehr wirklichkeitsgetreue Zeitraffer- und Zeitlupenaufnahmen erzeugt werden können.
„Twixtor enables you to speed up, slow down or frame rate convert your image sequences with
visually stunning results. In order to achieve its unparalleled image quality, Twixtor synthesizes unique
new frames by warping and interpolating frames of the original sequence... employing RE:Vision's
proprietary tracking technology that calculates motion for each individual pixel.“
(http://www.revisionfx.com/products/twixtor/overview/)
2.2.3
Virtual Dub
„Virtual Dub is a video capture/processing utility for 32-bit and 64-bit Windows platforms.“
„It lacks the editing power of a general-purpose editor such as Adobe Premiere, but is streamlined for
fast linear operations over video.“ (http://www.virtualdub.org/)
Es handelt sich hierbei also um ein einfach gestaltetes Videobearbeitungsprogramm, mit dem sehr
simpel und schnell grundlegende Editierungsschritte durchgeführt werden können.
2.2.4
AviSynth
„AviSynth fungiert als Frameserver, welcher Dateien einliest, und den Datenstrom an ein anderes
Programm mittels einer virtuellen Datei weiterreicht. Wird eine AVS-Skript-Datei mit einem
unterstützenden Videobearbeitungsprogramm (beispielsweise Virtual Dub) geöffnet, so verhält sich
diese dem Zielprogramm gegenüber wie eine AVI-Datei, welche eine rohe Video- und Audiospur
beinhalten würde. Auf diese Weise können auch Formate geöffnet werden, welche vom Zielprogramm
nicht unterstützt werden- oder vorher die Installation eines Codecs benötigen würden.“
(http://de.wikipedia.org/wiki/AviSynth)
Seite | 8
2.2.5
Labview-Programm zur Digitalisierung
Zur Digitalisierung der Videos wurde ein auf der Universität Innsbruck entwickeltes LabviewProgramm benutzt, welches das in Labview integrierte „optical flow“ VI verwendete. Das
Hauptmerkmal dieses Programmes war, dass der zu analysierende Punkt zu Beginn einmal markiert
wurde und das Programm ihn über die gesamte Bildreihe automatisch weiter verfolgte.
Abbildung 3: Labview-Programm zur Digitalisierung
Die korrekte Digitalisierung wurde anhand einer visuellen Beurteilung durch den Studienleiter
sichergestellt und wenn nötig mehrere Male wiederholt, bis die bestmögliche Verfolgung des
Punktes gegeben war.
2.2.6
Labview-Programm zur Interpolation
Um die Datenreihen nach der Digitalisierung zu interpolieren, wurde ein an der Universität Innsbruck
entwickeltes Labview-Programm verwendet. Die Interpolation erfolgte mittels kubischem Spline und
der Interpolationsfaktor konnte frei gewählt werden.
Seite | 9
Abbildung 4: Labview-Programm zur Interpolation
2.2.7
Microsoft Excel 2010
Die statistische und graphische Auswertung der Daten wurde mit Excel 2010 durchgeführt
2.3
Methodische Vorgehensweise
Um Interpolationsmethoden validieren zu können, müssen sie mit einem möglichst realitätsnahen
Referenzmaterial verglichen werden. Um dies zu bewerkstelligen wurde zu Beginn der Studie eine
Highspeed-Videoaufnahme von einem Drop-Jump aus ca. 50 cm Höhe mit einer Casio Exilim F1
Kamera aufgenommen. Gleichzeitig wurden die Bewegungsdaten des beobachteten Punktes mittels
Lukotronic Motion-Capture-System aufgezeichnet. Der beobachtete Punkt befand sich im Bereich
des Fersenbeins und wurde durch einen Infrarot-Marker definiert (siehe Abbildungen 3, 6 & 7).
Die Bildfrequenz der Videoaufnahme betrug 300 Bilder pro Sekunde, da dadurch noch immer eine
relativ gute Auflösung von 512 x 384 Pixel erreicht wurde. Zusätzlich musste die Aufnahmefrequenz
von Lukotronic an die Aufnahmefrequenz des Videos angepasst werden, wodurch sich eine weitere
Limitierung auf 300 Hertz ergab, da dies die maximale Aufnahmefrequenz des verwendeten MCU 200
Seite | 10
darstellt. Die Shutter-Geschwindigkeit der Videoaufnahme betrug 1/600, damit es nur zu einer
möglichst geringen Bewegungsunschärfe kam.
Nach der oben beschriebenen Videoaufnahme wurde das Videomaterial nun weiter bearbeitet, um
für Fernsehaufnahmen im NTSC-Format typische Bildfrequenzen im Bereich von 30 bzw. 60 Hertz zu
bekommen. Dazu wurde das Originalvideo mithilfe von AviSynth in Virtual Dub importiert und mit
der Funktion „Frame Rate“ von 300 Bildern pro Sekunde auf 60 bzw. 30 Bilder pro Sekunde reduziert.
Die daraus entstandenen Videos wurden als erstes in ein an der Sportuniversität Innsbruck
entwickeltes Labview-Programm zum Digitalisieren von Videoaufnahmen importiert und die daraus
resultierenden Daten der Vertikalbewegung des analysierten Punktes gespeichert. Diese
Bewegungsdaten wurden in ein zweites Labview-Programm zur Interpolation importiert und damit
wieder von 30 bzw. 60 Hertz auf 300 Hertz interpoliert. Diese Datenreihen wurden im Weiteren als
Interpolation 30 und Interpolation 60 bezeichnet.
Als zweites wurden die 30 bzw. 60 Hertz Videos in After Effects importiert und mithilfe des TwixtorPlugins wieder auf 300 Hertz interpoliert. Danach wurden auch diese interpolierten Videos mit dem
vorher erwähnten Labview-Programm digitalisiert und die daraus entstandenen Datenreihen der
Vertikalbewegung des analysierten Punktes im Weiteren als Twixtor 30 und Twixtor 60 bezeichnet.
In weiterer Folge wurden als erstes die Daten der verschiedenen Interpolationsmethoden mit den
Lukotronic-Bewegungsdaten (Luko) verglichen, da angenommen werden kann, dass die maximale
Messgenauigkeit von 3 mm des Lukotronic-Systems die Genauigkeit der digitalisierten Daten des
aufgenommen Highspeed-Videos übersteigt. Zusätzlich wurden auch die Daten des aufgenommenen
Highspeed-Videos mit den Lukotronic-Daten verglichen, um prinzipiell den zu erwartenden Fehler
durch eine Digitalisierung von Videoaufnahmen abschätzen zu können.
Als zweites wurden die Daten der verschiedenen Interpolationsmethoden mit den Daten des
aufgenommenen Highspeed-Videos verglichen. Dadurch, dass alle Datenreihen in dieser
Gegenüberstellung mit demselben Digitalisierungsvorgang erstellt wurden, lässt sich der dabei
auftretende Fehler vernachlässigen und eine genauere Beurteilung der Arbeitsweise der
unterschiedlichen Interpolationsmethoden wird möglich.
Seite | 11
2.3.1
Twixtor Einstellungen
Das 30 bzw. 60 Hertz Video wurde in After Effects in eine neue Komposition eingefügt, die den
Bildmaßen des Videos entsprach und eine Länge von 637 Bildern hatte. Diese spezifische Länge
wurde deshalb ausgewählt, da das die genaue Bildanzahl des Originalvideos war.
In den Einstellungen des Twixtor-Plugins wurden folgende Werte gesetzt:
Abbildung 5: Twixtor Einstellungen
Input Framerate:
30 bzw. 60 Bilder pro Sekunde
Motion Vectors:
Best
Image Prep:
Contrast/Edge Enhance
Motion Sensitivity:
70
Time Remap Mode:
Frame Number
Frame Interp:
Motion Weighted Blend
Smart Blend:
On
Alt Motion Source:
Bei der Interpolation des 60 Hertz Videos: Off
Bei der Interpolation des 30 Hertz Videos: On
Seite | 12
Der „Time Remap Mode“ wurde auf die Einstellung „Frame Number“ gesetzt, um eine absolut exakte
Interpolation auf insgesamt 637 Bilder zu bekommen. Das 30 Hertz Video bestand nur aus 63 Bildern
und das 60 Hertz Video nur aus 127 Bildern, daher mussten diese auf die ganze Länge von 637
Bildern verteilt werden, damit das Plugin die fehlenden Zwischenbilder wieder neu berechnete. Das
wurde damit erreicht, dass im ersten Frame der Komposition die Framenummer 0 des 30 bzw. 60
Hertz Videos per Keyframe definiert wurde. Im letzten Frame der Komposition wurde selbiges mit
Framenummer 63 des 30 Hertz Videos und Framenummer 127 des 60 Hertz Videos gemacht. Somit
interpolierte das Plugin alle fehlenden Zwischenbilder und die Endlänge des Videos betrug wieder
genau 637 Bilder.
Eine unterschiedliche Einstellung bei „Alt Motion Source“ wurde bei der Interpolation des 30 Hertz
Videos deswegen gewählt, weil Twixtor speziell im Bereich des ersten Bodenkontaktes des Fußes
große Probleme mit der korrekten Interpolation des Videos hatte.
Abbildung 6: Twixtor Ungenauigkeit
Twixtor bietet in diesem Fall eine Möglichkeit an, um bessere Bewegungsvektoren der Pixel
berechnen zu können und somit Ungenauigkeiten wie in Abbildung 3 zu verhindern.
Dabei bedient sich das Plugin folgenden Tricks: Man kann die Bewegungsvektoren statt über die
„normale“ Version des 30 Hertz Videos über eine alternative Version des gleichen Videos berechnen.
In dieser alternativen Version kann man Kontrast und Helligkeit des Videos so stark verändern, dass
man möglichst exakte und scharfe Kanten der Objekte bekommt, auch wenn die Farben des Bildes
Seite | 13
dabei schon sehr stark verzerrt werden. Damit kann das Plugin genauere Bewegungsvektoren
berechnen und diese dann für die Interpolation des „normalen“ 30 Hertz Videos verwenden.
Abbildung 7: Twixtor mit "Alt Motion Source"
Damit konnte eine wesentliche Verbesserung der Interpolation erzeugt werden und die Bildqualität
entsprach damit den Voraussetzungen für eine spätere Digitalisierung.
2.3.2
Statistische Auswertung
Um einen Vergleich aller ermittelten Datenreihen durchführen zu können, mussten diese zeitlich als
auch räumlich synchronisiert werden.
Dazu wurde als erstes ein Punkt bestimmt, anhand dessen alle Datenreihen angeglichen wurden. Die
Wahl fiel dabei auf den niedrigsten Punkt während des ersten Bodenkontaktes, da diese
Richtungsänderung die schnellste und kürzeste der Sequenz war und daher die Messfehler der
diversen Methoden den Zeitpunkt dieses Wertes relativ wenig beeinflussten.
Als erstes wurde also der Nullpunkt jeder Datenreihe in oben genannten Punkt gesetzt. Dazu wurde
der niedrigste Wert während des ersten Bodenkontaktes aus jeder Datenreihe herausgesucht und
damit der nötige Versatz berechnet.
Seite | 14
Danach wurde der Zeitpunkt des oben genannten Punktes innerhalb der Lukotronic-Datenreihe
bestimmt und die Nullpunkte aller anderen Datenreihen, wenn nötig, zeitlich angeglichen. Dies
wurde unter anderem deswegen notwendig, da z.B. das Programm zum Digitalisieren der Videos
keine Koordinaten für das letzte Bild ausgab und daher nach der Interpolation einmal 5 und einmal
10 Werte zu wenig ausgegeben wurden. Da die Frequenz jedoch trotzdem die gleiche war, konnte
dieses Problem durch ein einfaches zeitliches angleichen, wie oben beschrieben, gelöst werden.
Als nächstes wurden alle Datenreihen auf einen Zeitpunkt kurz vor der Landung (dem zweiten
Bodenkontakt) gekürzt, da es in der Datenreihe Twixtor 30 gegen Ende zu relativ großen
Ungenauigkeiten beim Digitalisieren kam. Um also eine mögliche Verfälschung der Vergleiche zu
verhindern, wurden nur jene Werte bis zum „Verlust“ des zu digitalisierenden Punktes einbezogen.
Ein ähnliches Problem trat bei den beiden Datenreihen Interpolation 30 bzw. 60 auf. Die SplineInterpolation lieferte zu Beginn der Datenreihen sehr stark vom Original abweichende Ergebnisse,
wodurch auch hier mit dem Ziel eines fairen Vergleiches vom Studienleiter beschlossen wurde, die
Datenreihen bis zum Beginn der Abwärtsbewegung zu kürzen.
Aus den so gesammelten Daten der Vertikalbewegung des analysierten Punktes wurden in Excel die
maximale Abweichung des Weges in Zentimeter und Prozent, die mittlere Abweichung in Zentimeter
und Prozent und der mittlere quadratische Fehler (Root Mean Square Deviation - RMSD) im Vergleich
zu den Lukotronic-Daten und den Daten des aufgenommenen Highspeed-Videos berechnet.
Seite | 15
3
Ergebnisse
Vergleich Lukotronic - Interpolationsmethoden
Gesamte Sequenz
60,00
Weg [cm]
50,00
40,00
Lukotronic
Digi 300
30,00
Interpolation 30
20,00
Interpolation 60
Twixtor 30
10,00
Twixtor 60
0,00
0,0
0,1
0,2
0,3
0,4
0,6
0,7
0,8
0,9
Zeit [s]
Abbildung 8: Vergleich Lukotronic - Interpolationsmethoden
Wie aus Abbildung 8 und Tabelle 1 zu erkennen ist, war die allgemeine Abweichung der
Interpolationsmethoden zu Lukotronic relativ gering. Die größten Abweichungen traten generell an
den oberen Wendepunkten auf. Hier wurden Abweichungen von maximal 5,26 Zentimetern bzw.
10,28% des gesamten Bewegungsraumes von Lukotronic gemessen.
Tabelle 1: Abweichungen Interpolationen - Lukotronic
Max. Abweichung
[cm]
Max. Abweichung
%
MW Abweichung
[cm]
MW Abweichung
%
RMSD
[cm]
Interp 60-Luko
5,26
10,28
2,16
4,23
2,505
Twixtor 30-Luko
4,27
8,35
1,98
3,87
2,312
Interp 30-Luko
4,14
8,09
1,78
3,48
2,043
Digi 300-Luko
3,47
6,79
1,45
2,84
1,779
Twixtor 60-Luko
3,31
6,47
1,44
2,81
1,773
Vergleich
Die größten Abweichungen zu Lukotronic traten in der Datenreihe Interpolation 60 auf, die
niedrigsten Abweichungen in der Datenreihe Twixtor 60. Die Daten des Originalvideos (Digi 300)
wiesen mit einer maximalen Abweichung von 3,47 cm und einem mittleren quadratischen Fehler
(RMSD) von 1,779 cm eine geringfügig größere Abweichung auf als die Datenreihe Twixtor 60.
Seite | 16
Tabelle 2: Abweichungen Interpolationen - Originalvideo
Vergleich
Max. Abweichung Max. Abweichung
[cm]
%
MW Abweichung
[cm]
MW Abweichung
%
RMSD
[cm]
Twixtor 30-Digi 300
4,16
8,13
1,88
3,68
2,251
Interp 60-Digi 300
1,91
3,74
0,91
1,78
1,074
Interp 30-Digi 300
1,53
2,99
0,73
1,43
0,856
Twixtor 60-Digi 300
0,62
1,22
0,25
0,50
0,315
Ein Vergleich zwischen den Daten des Originalvideos und den Interpolationsmethoden (Tabelle 2)
zeigte ein ähnliches Ergebnis. Die größten Unterschiede zeigte hier die Datenreihe Twixtor 30, die
geringsten Unterschiede wies weiterhin die Datenreihe Twixtor 60 auf. Wie exakt Twixtor das 60
Hertz Video auf 300 Hertz interpolierte zeigt Abbildung 9.
Vergleich Digi 300 - Twixtor 60
60,00
50,00
Weg [cm]
40,00
30,00
Digi 300
Twixtor 60
20,00
10,00
0,00
0,0
0,1
0,2
0,3
0,4
0,6
0,7
0,8
0,9
Zeit [s]
Abbildung 9: Vergleich Digi 300 - Twixtor 60
Seite | 17
4
Diskussion
4.1
Interpretation der Ergebnisse
4.1.1
Digitalisierung von Videos
Generell konnte in dieser Studie gezeigt werden, dass die Digitalisierung von Videos eine durchaus
valide und reliable Methode ist um kinematische Daten aus Videoaufnahmen abzuleiten. Mit einem
mittleren quadratischen Fehler von 1,779 cm liegt die Messgenauigkeit dieser Methode in einem
sehr akzeptablen Bereich. Zusätzlich könnte die Genauigkeit durch eine größere Auflösung des
Videomaterials mit Sicherheit noch verbessert werden, da die in dieser Studie verwendete Auflösung
von 512 x 384 Pixel im Vergleich zu der Auflösung von HD-Fernsehaufnahmen (1920 x 1080 bzw.
1280 x 720 Pixel) sehr gering ist.
Interessant ist die Tatsache, dass die größten Abweichungen immer an den oberen Wendepunkten
zustanden kamen. Dies könnte auf eine optische Verzerrung des Videomaterials durch das Objektiv
der Kamera zurückzuführen sein. Um eine möglichst geringe Verzerrung zu erhalten, sollte beim
Aufnehmen von Videos an der Kamera immer der größtmögliche optische Zoomfaktor (höchste
Brennweite) verwendet werden.
Bei den Aufnahmen für diese Studie war dies leider nicht möglich, da alle Videos in einem Laborraum
mit begrenztem Platz aufgezeichnet wurden und daher nur die Hälfte des möglichen Zoombereichs
verwendet werden konnte. Die daraus vermutlich entstandenen Verzerrungen wirken sich besonders
im Randbereich des Videos aus, da durch den typischen „Weitwinkeleffekt“ (siehe Abbildung 10)
Bewegungen am Bildrand nicht mehr so starke Pixelbewegungen hervorrufen wie in der Bildmitte.
Seite | 18
Abbildung 10: Optische Verzerrung von Weitwinkelobjektiven (Quelle: Wikipedia/Ralf Roletschek)
Aus diesem Grund kann angenommen werden, dass der Bewegungsbereich aller digitalisierten
Aufnahmen, aufgrund von leichten optischen Verzerrungen im Randbereich, nicht so groß war wie
jener von Lukotronic.
4.1.2
Interpolationsmethoden
Die Ergebnisse der verschiedenen Interpolationsmethoden waren durchaus ein wenig überraschend.
Prinzipiell kann eigentlich davon ausgegangen werden, dass eine Interpolationsmethode besser
arbeiten kann, wenn sie nur von 60 auf 300 Hertz interpolieren muss und nicht von 30 auf 300 Hertz.
Insofern ist es ein wenig verwunderlich, dass die Spline-Interpolation der 30 Hertz Daten näher an
den Daten von Lukotronic bzw. des Originalvideos liegt als die der 60 Hertz Daten.
Bei der Digitalisierung aller Videos wurde zwar sehr stark auf eine exakte Bestimmung des
untersuchten Punktes geachtet, kleine Abweichungen zwischen den verschiedenen Videos sind aber
selbstverständlich nie auszuschließen. Eventuell sind die schlechteren Ergebnisse der 60 Hertz
Interpolation also auf größere Ungenauigkeiten bei der Digitalisierung zurückzuführen.
Seite | 19
Die Arbeitsweise des Twixtor-Plugins scheint nach Betrachtung der Ergebnisse sehr stark von der
Bildrate des Ausgangsmaterials abzuhängen. Während bei der Interpolation des Videos von 60 auf
300 Bilder pro Sekunde die genaueste Interpolation aller Methoden zustande kam und auch keine
speziellen Einstellungen im Plugin vorgenommen werden mussten, so kam es bei der Interpolation
des Videos mit 30 Bildern pro Sekunde doch zu erheblich größeren Problemen.
Als erstes musste, wie schon im Kapitel „Methodische Vorgehensweise“ erwähnt wurde, eine
alternative Version des Videos zur Berechnung der Bewegungsvektoren verwendet werden, um
überhaupt ein brauchbares interpoliertes Video zu erhalten. Doch selbst dann wichen die
berechneten Bilder deutlich stärker vom Originalvideo ab als jene des Ausgangsmateriales mit 60
Bildern pro Sekunde.
Sehr überraschend war jedoch, dass ein mit Twixtor von 60 auf 300 Bilder pro Sekunde interpoliertes
Video fast identisch mit einem originalaufgenommenen Highspeed-Video ist. Der mittlere
quadratische Fehler von 0,315 cm bestätigt, dass es lediglich zu minimalsten Abweichungen bei der
Interpolation bzw. der Digitalisierung kam. Dieses Ergebnis zeigt also, dass aus Fernsehaufnahmen
mit 60 und eventuell 50 Bildern pro Sekunde äußerst realistische Highspeed-Aufnahmen erzeugt und
somit Bodenreaktionskräfte oder andere kinematische Daten vermutlich deutlich genauer berechnet
werden können.
Die große Frage die sich nun stellt ist natürlich, warum das Twixtor-Plugin anscheinend bessere
Interpolationen liefert als Spline-Interpolationen. Die Antwort darauf kann ohne genaue Kenntnisse
über die Arbeitsweise von Twixtor vermutlich nicht gegeben werden. Diese ist jedoch
verständlicherweise ein gut gehütetes Geheimnis der Firma „RE:Vision Effects“, welche derzeit durch
ihr Produkt Twixtor im Grunde genommen eine Monopolstellung in diesem Sektor genießt.
Was man aus der aus Kapitel 2 angeführten offiziellen Beschreibung von Twixtor jedoch herauslesen
kann ist, dass in jedem Videobild die Bewegungsvektoren jedes einzelnen Pixels berechnet werden.
Dadurch könnte man annehmen, dass sich die Vektoren benachbarter bzw. naheliegender Pixel
gegenseitig beeinflussen, um eine möglichst korrekte Bewegungsvorhersage zu erstellen. Somit
würde der Bewegungsvektor eines einzelnen Pixels eigentlich aus mehreren Vektoren berechnet
werden.
Im Vergleich dazu entstehen die Daten einer Spline-Interpolation immer nur anhand des
Bewegungsvektors eines einzelnen Punktes, da bei der Digitalisierung eines Videos ja nicht die
Bewegungsdaten jedes einzelnen Punktes, sondern nur die des ausgewählten Punktes, gespeichert
werden. Hier könnte also eventuell der Grund für eine bessere Interpolation von Twixtor liegen.
Seite | 20
4.2
Kritikpunkte
Eine gewisse Ungenauigkeit bei der Durchführung dieser Studie entstand aus der Tatsache, dass die
zur Analyse und weiteren Bearbeitung ausgewählte Videosequenz aus 637 Bildern bestand. Um diese
Sequenz auf 60 bzw. 30 Bilder pro Sekunde zu reduzieren, musste die Bildanzahl um den Faktor 5
bzw. 10 reduziert werden. Die daraus resultierenden Bildanzahlen für die neuen Sequenzen wären
demnach 127,4 bzw. 63,7 Bilder gewesen. Da die Kommastellen bei der Reduktion der Bildanzahl
natürlich wegfielen, entsprachen die tatsächlichen Reduktionsfaktoren der Videos 5,01 bzw. 10,11.
Die Bildanzahl der Videos wurde tatsächlich also noch ein wenig stärker reduziert als ursprünglich
geplant.
Die praktischen Auswirkungen hielten sich jedoch stark in Grenzen. Die entstandenen
Videosequenzen hatten nämlich die gewünschten Bildraten von 30 bzw. 60 Bildern pro Sekunde,
endeten aber mit dem Bild Nummer 635 bzw. 630 des Originalvideos (Virtual Dub wählte jedes fünfte
bzw. zehnte Bild beginnend mit Bildnummer 0 aus). Da zur späteren Auswertung sowieso einige
Daten zu Beginn und am Ende der Sequenz weggeschnitten wurden, fiel diese Tatsache bei der
Spline-Interpolation nicht ins Gewicht.
Bei der Erstellung der von Twixtor interpolierten Videos ergab sich aber sehr wohl eine geringe
Beeinflussung. Durch die Dehnung der Videos auf 637 Bilder wurden bei der Interpolation des 60
Hertz Videos in etwa 2 zusätzliche Bilder mehr eingefügt, bei der Interpolation des 30 Hertz Videos in
etwa 7 Bilder mehr. Durch die Verkürzung der Datenreihen während der Auswertung ist die
tatsächliche Anzahl der zusätzlichen Bilder in den Daten noch geringer. Es ist demnach nicht
anzunehmen, dass eine bedeutende Beeinflussung der Ergebnisse entstanden ist.
Wie schon erwähnt wurde während der Aufnahme des verwendeten Videos eine zu geringe
Brennweite verwendet, wodurch es vermutlich zu leichten optischen Verzerrungen besonders im
Randbereich des Bildes kam. Diese Verzerrungen beeinflussen zwar den Vergleich der digitalisierten
Daten mit den Daten von Lukotronic, nicht jedoch den Vergleich zwischen den einzelnen
Interpolationsmethoden. Aus diesem Grund dürfte auch hier keine nennenswerte Beeinflussung der
Ergebnisse entstanden sein.
Des Weiteren kann als Kritikpunkt angeführt werden, dass die Digitalisierung der Videos nach
einmaligem Markieren des zu analysierenden Punktes völlig automatisch ablief. Hätte die
Möglichkeit bestanden in diesen Prozess einzugreifen, hätten vermutlich durch die händischen
Korrekturen noch genauere Bewegungsdaten erhoben werden können. Auf der anderen Seite ist
durch eine automatische Digitalisierung eine wesentlich größere Reliabilität gegeben und eventuelle
Seite | 21
Verzerrungen durch die Erwartungshaltung des Studienleiters konnten von vorn herein vermieden
werden.
Zuletzt sollte noch festgehalten werden, dass diese Studie lediglich an einer einzigen Videosequenz
durchgeführt wurde und die Ergebnisse daher nur limitierte Aussagekraft besitzen. Zum einen
wurden die Aufnahmen so durchgeführt, dass sie sich möglichst gut für diese Untersuchung eigneten,
zum anderen wurde auch eine möglichst gut analysierbare Bewegung in Form eines Drop-Jumps
gewählt. Es ist also fraglich, inwieweit die Ergebnisse dieser Studie auf andere Videoaufnahmen bzw.
Sportbewegungen übertragbar sind.
4.3
Zusammenfassung
Mithilfe des Twixtor-Plugins können Videoaufnahmen mit 60 Bildern pro Sekunde äußerst genau auf
höhere Bildfrequenzen interpoliert werden. Diese Methode scheint sogar den bisher verwendeten
Spline-Interpolationen der bereits digitalisierten Daten überlegen zu sein. Ein Ausgangsvideo mit 30
Bildern pro Sekunde liefert jedoch schon wesentlich weniger präzise Interpolationen.
Durch Twixtor besteht also eine sehr einfache und schnelle Möglichkeit normale Fernsehaufnahmen
in Highspeed-Videos umzuwandeln, um bei einer biomechanischen Analyse genauere kinematische
Daten zu erhalten. Da solche Analyseverfahren in der Regel selbst schon sehr viel Zeit in Anspruch
nehmen, würde der im Vergleich dazu geringe Zeitaufwand zur Verbesserung des Videomaterials zu
keiner wesentliche Erhöhung des gesamten Arbeitspensums führen.
Fraglich bleibt dabei allerdings, wie gut das Plugin mit den Bildern von Fernsehkameras umgehen
kann. Um eine präzise Arbeitsweise zu gewährleisten, sollten die Bilder des Ausgangsmateriales
möglichst scharf sein. Bei einer Aufnahme mit 60 Bildern pro Sekunde beträgt die Verschlusszeit der
Videokamera in der Regel 1/120 Sekunde. Bei solchen Verschlusszeiten kommt es gerade bei
Sportaufnahmen sehr schnell zu Unschärfen durch schnelle Bewegungen der Sportler, was die
Ergebnisse einer Interpolation mit Twixtor negativ beeinflussen kann.
Weitere praktische Versuche zur Anwendbarkeit und Genauigkeit in unterschiedlichen Situationen
sind also notwendig, um die in dieser Studie vorgestellte Methode zur optischen Interpolation von
Videoaufnahmen eventuell als Standard im sportwissenschaftlichen Arbeiten zu integrieren.
Seite | 22
5
Literaturverzeichnis
Koga, H.; Nakamae, A.; Shima, Y.; Iwasa, J.; Myklebust, G.; Engebretsen, L. et al. (2010): Mechanisms
for Noncontact Anterior Cruciate Ligament Injuries: Knee Joint Kinematics in 10 Injury Situations
From Female Team Handball and Basketball. In: The American Journal of Sports Medicine 38 (11), S.
2218–2225,
Krosshaug, Tron; Bahr, Roald (2005): A model-based image-matching technique for threedimensional reconstruction of human motion from uncalibrated video sequences. In: Journal of
Biomechanics 38 (4), S. 919–929,
Krosshaug, T.; Slauterbeck, J. R.; Engebretsen, L.; Bahr, R. (2007): Biomechanical analysis of anterior
cruciate ligament injury mechanisms: three-dimensional motion reconstruction from video
sequences. In: Scandinavian Journal of Medicine & Science in Sports 17 (5), S. 508–519,
Internetquellen:
Technische Daten Lukotronic MCU 200 (http://www.lukotronic.com/de/produkte/hardware/mcu200.html); Zugriff am 01.01.2012
Technische Daten Casio Exilim F1 (http://de.exilim.eu/de/exilimhighspeed/exf1/specifications/);
Zugriff am 01.01.2012
Beschreibung Twixtor (http://www.revisionfx.com/products/twixtor/overview/); Zugriff am
02.01.2012
Beschreibung Virtual Dub (http://www.virtualdub.org/); Zugriff am 02.01.2012
Beschreibung AVI-Synth (http://de.wikipedia.org/wiki/AviSynth); Zugriff am 02.01.2012
Seite | 23