Verbundprojekt: ADMIRE - Adaptives Datenmanagement für das Exascale-Computing

Die Verarbeitung gigantischer Datenmengen, wie sie z.B. für die künstliche Intelligenz benötigt werden, ist eine der Haupttriebfedern beim Entwurf von Exascale-Systemen – ein Trend, der das klassische, auf das reine Rechnen fokussierte Design von Hochleistungsrechnern in Frage stellt. Deren aktuell flache Speicherhierarchie mit einem zentralen Dateisystem erweist sich zunehmend als Flaschenhals. Neue Technologien in Richtung schneller, nichtflüchtiger und gleichzeitig energieeffizienter Massenspeicher eröffnen hier neue Chancen, den Bedürfnissen datenintensiver Anwendungen gerecht zu werden. Es fehlen allerdings noch adäquate Steuerungsmechanismen und angepasste Dateisysteme, um dieses Potenzial auszuschöpfen. Diese, gestützt durch einen Co-Designprozess, mit einer spezifischen Auswahl an Anwendungen zu entwickeln, ist das Ziel von ADMIRE. Das deutsche Teilprojekt widmet sich dabei vorrangig der Balance zwischen Rechenleistung und Datentransferrate. Nur wenn beide in einem gesunden Verhältnis zueinander stehen, kann das System als Ganzes effizient genutzt werden. Der deutsche Beitrag ist daher essenziell für das Gesamtvorhaben. Adressiert wird die Balance auf den drei Ebenen Dateisysteme, Algorithmen und Anwendungen.