VideoPredict - Vorhersage von Videoinhalten

Die Vorhersage zukünftiger Videoinhalte ist ein anspruchsvolles Problem mit hohem Potenzial Auswirkungen auf nachgelagerte Aufgaben wie selbstfahrende Autos und Robotik, aber auch vielversprechend für den Lernprozess selbst, vom selbstüberwachten Lernen bis zur Datenaugmentation. Bestehende Ansätze reichen von der Vorhersage zukünftiger Aktionen mit semantischen Etiketten bis hin zur Erstellung realistischer Renderings zukünftiger Bilder. Die meisten von ihnen verwenden Vorhersagen aus Faltungsmerkmalen früherer Frames. Wir schlagen stattdessen vor, die Kausalitätseffekte zu modellieren, die am Entstehungsprozess des Videos beteiligt sind, und Bewegungs- und Erscheinungsbildfaktoren zu entflechten. Dies wird zu einer besseren Vorhersage führen, aber auch, und das ist vielleicht noch wichtiger, zu einem besseren, strukturierteren Verständnis des Videoinhalts, was zu erklärbaren und interpretierbaren Ergebnissen und schließlich zu vertrauenswürdigeren Lernsystemen führen wird. Die deutschen und französischen Partner sind jeweils Experten für maschinelles Lernen und Computer Vision, mit komplementären Forschungsschwerpunkte in den Bereichen Kausalität und entwirrte Datenmodelle auf der einen Seite, und Videoverstehen und Handlungserkennung auf der anderen Seite, die sich ideal für dieses gemeinsame Projekt ergänzen.