IMPRESS - Verbesserte Wort- und Satzeinbettung mittels semantischen Wissen

Praktisch alle NLP-Systeme verwenden heutzutage Vektordarstellungen von Wörtern, auch bekannt als Worteinbettungen. In ähnlicher Weise werden bei der Verarbeitung von Sprache in Kombination mit dem Sehen oder anderen Sinnesmodalitäten multimodale Einbettungen verwendet. Einbettungen verkörpern zwar eine Form von semantischer Verwandtschaft, aber die genaue Art der letzteren bleibt unklar. Dieser Verlust an präziser semantischer Information kann sich auf nachgelagerte Aufgaben auswirken. Die Ziele von IMPRESS sind die Untersuchung der Integration von semantischem Wissen und gesundem Menschenverstand in linguistische und multimodale Einbettungen und die Auswirkungen auf ausgewählte nachgelagerte Aufgaben. IMPRESS wird auch Open-Source-Software und lexikalische Ressourcen entwickeln und sich dabei auf die Erkennung von Videoaktivitäten als praktisches Testbett konzentrieren. Darüber hinaus gibt es zwar eine wachsende Zahl von NLP-Forschungsarbeiten zu anderen Sprachen als Englisch, aber die meisten Forschungsarbeiten zu multimodalen Einbettungen werden immer noch auf Englisch durchgeführt. IMPRESS wird eine mehrsprachige Erweiterung der entwickelten Methoden für den Umgang mit Französisch, Deutsch und Englisch in Betracht ziehen.