ACROSS – Übergreifende KI-Plattform für das zukünftige Supercomputing

Einziger deutscher Partner ist das Max-Planck-Institut für Meteorologie. In Kooperation mit dem Europäischen Zentrum für Mittelfristige Wettervorhersage (EZMW) und dem Deutschen Klimarechenzentrum (DKRZ) soll ein System implementiert werden mit semantischem Zugriff auf Modellergebnisse. Hierbei handelt es sich um ein System, das schon seit langem am EZMW für die Ergebnisse der operationellen Wettervorhersage genutzt wird. Klimawissenschaften haben typischerweise allerdings ein Zeitserien- und kein Zeitscheibenzugriffsmuster. Dieses Muster wird auch für das EZMW als Betreiber von Copernicus aufgrund der Vielzahl von klimatologischen Daten in diesem System zunehmend wichtiger. Schneller Zugriff auf sehr große Datenvolumina höchstauflösender Simulationen (im Bereich mehrerer Peta-Byte pro Simulation) stellt in steigendem Maße höchste technische Herausforderungen an Rechenzentren und deren Systeme dar. Zur Lösung wird der plattenbasierte Teil des Datenmanagementsystems des EZMW für die globale numerische Wettervorhersage (NWV) (inkl. Post Processing und Daten-Verfügbarmachung) an die Klima-Anwendung angepasst und ausgiebig getestet. Die Nutzung neuer Techniken (u.A. Datenstreaming) ist in diesem Bereich unabdingbar. Dies ist auch eine Voraussetzung für Klimasimulationen auf Exascale-Computern. Die Zugriffsmuster auf Daten sind dabei ein essentieller Aspekt. Zeitserien erfordern Zugriff mit sehr geringer Latenz. Eine spezifische Key-Value-Beschreibung soll dies ermöglichen und deren Verwendung prototypisch getestet werden. Eine Einführung für die Anwender des Wettervorhersage- und Klimamodells ICON am DKRZ ist vorgesehen. Ziele sind: - Das Co-Design des zu erstellenden Prototypen mit EZMW, der DKRZ Datenmanagement-Gruppe und Wissenschaftlern am MPI-M, - Die Erstellung eines forschungsfragenspezifischen Key-Value-Datenmodell, - Die Implementierung des Prototypen am DKRZ und - Die Übernahme des adaptierten Systems in die Produktion am DKRZ.