Bisherige Forschungs- und Entwicklungsarbeiten im Bereich XR konzentrierten sich weitgehend auf die räumliche Erfassung der Nutzer und ihrer Umgebung. Dies führte zu sehr spezifischen, eingeschränkten und nicht generalisierbaren Repräsentationen sowie zu vordefinierten grafischen Visualisierungen und Animationen. Durch LUMINOUS (Language Augmentation for Humanverse) soll sich dies grundlegend ändern. Die Projektpartner arbeiten nun an XR-Systemen der nächsten Generation. Diese neuen Systeme sollen generative und multimodale Sprachmodelle (MLLM) integrieren, um die bestehenden visuellen Erweiterungen der Realität – wie etwa Texte, Animationen oder virtuelle Objekte – zu ergänzen und die Interaktion mit XR-Technologie neu zu gestalten. Zukünftige Nutzer dieser innovativen XR-Systeme sollen dank der Sprachmodelle und dem Zugang zu stets aktualisierten globalen und domänenspezifischen Wissensquellen nahtlos mit ihrer Umgebung interagieren und Echtzeit-Unterstützung für Alltagsaktivitäten erhalten.
Die Ergebnisse des Projekts werden in drei Pilotprojekten getestet, die sich auf Neurorehabilitation (Unterstützung von Schlaganfallpatienten mit Sprachstörungen), immersives Sicherheitstraining am Arbeitsplatz und die Überprüfung von 3D-Architekturentwürfen konzentrieren.
Neben dem DFKI sind die Fraunhofer Gesellschaft sowie 10 weitere Forschungseinrichtungen und Partner aus Griechenland, Irland, Italien, den Niederlanden, der Schweiz, Spanien und dem Vereinigten Königreich an LUMINOUS beteiligt. Das Projekt wird im Rahmen von Horizont Europa mit 5,6 Millionen EUR gefördert.
Zum Nachlesen
- Deutsches Forschungszentrum für Künstliche Intelligenz (19.08.2024): Projekt Luminous: Die nächste Stufe der erweiterten Realität
