Zugriff auf Petabytes an Daten

Datenmanagementsoftware von Quantum verwaltet Archiv für Erdbeobachtungsdaten

Die EOS-Satelliten der NASA übertragen täglich mehrere Terabyte Daten über die Erde, die Ozeane und die Atmosphäre. Im Rahmen des EOSDIS (Earth Observing System Data and Information System) stellt die NASA diese Daten Klimaforschern aus aller Welt zur Verfügung – eines der ehrgeizigsten Datenprojekte aller Zeiten. Die Speicherung dieser unersetzlichen Informationen ist der Datenmanagement-Software von Quantum anvertraut.

Eskalierendes Datenwachstum

Seit seinem Start im Jahr 1999 hat sich das EOSDIS der NASA zu einem der größten und aktivsten Datenarchive weltweit entwickelt. Pro Tag gehen allein 3 Terabyte an neuen Daten ein. Zusätzlich werden 2 Terabyte an vorhandenen Informationen an Forscher aus aller Welt weitergegeben. Insgesamt erhalten damit Hunderttausende Benutzer Zugriff auf über 20 Millionen Dateien mit einem Datenvolumen von insgesamt mehr als einem Petabyte.

Die Kernkomponenten des EOSDIS wurden von Raytheon Imagery and Geospatial Systems entwickelt. „Diese Daten stellen eine nationale Ressource dar, die uns nie da gewesene Einblicke in aktuelle Erdveränderungen liefern wird“, erklärt der technische Projektleiter bei Raytheon. „Speicherung, Organisation und Bereitstellung der Daten für Forscher sind kritische Aufgaben und stellen eine gewaltige Herausforderung dar.“

Aufgrund des schieren Umfangs des Projekts musste das System so strukturiert werden, dass Anwendungen Daten direkt in automatisierte Tape Libraries schreiben und auch wieder direkt daraus auslesen können. „…wir benötigten ein robustes, skalierbares Speichersystem, das sehr große Datensätze auf unterschiedlichen Medientypen verarbeiten kann“, erläutert der technische Projektleiter von Raytheon. „Darüber hinaus musste es eine stabile Lösung sein, die unseren Betrieb rund um die Uhr unterstützen kann.“

Hoch performanter Datenzugriff mit Disk und Tape

Ausschlaggebend für den Erfolg des EOSDIS-Projekts war die Entwicklung eines Systems zur Verwaltung des Hochgeschwindigkeits-Disk-Caches, in dem kontinuierlich die Metadaten vorgehalten werden, die für schnelle Suchläufe in den auf Tape gespeicherten Millionen von Dateien und Petabytes an Primärdaten erforderlich sind. Quantums Datenmanagement-Software fungiert in diesem System als Bindeglied, das einen effizienteren Zugriff der Anwender auf das System ermöglicht.

Die Software wandelt Tape Libraries in einen Online-Massenspeicher mit Direktzugriff um und stellt damit Anwendern, Administratoren und Anwendungen ein Datenarchiv im Petabyte-Bereich zur Verfügung. Die automatisierten Tape Libraries werden als ein Gerät mit einem UNIX-Einhängepunkt darstellt. So können Anwender auf die gleiche Weise auf die Dateien in den Tape Libraries zugreifen, als würden sie auf Disk liegen. Quantum verwaltet den Disk-Cache, hält die Metadaten online in hoch verfügbaren Serverclustern vor und kann problemlos für eine quasi unbeschränkten Anzahl von Dateien skaliert werden.

„Mit dem fertigen System holen wir das Optimum aus unseren Speicherressourcen heraus“, so der technische Projektleiter von Raytheon weiter. „Wir verfügen über eine hochleistungsfähige, äußerst robuste Speicherumgebung mit einfachem Datenzugriff aus all unseren Anwendungen sowie einer optimalen Ressourcenauslastung. Das Zurückladen von Dateien, die Bereitstellung im Disk-Cache und die Ausgabe als Datei oder Kopie auf Medien erfolgen vollständig im Hintergrund.“ Für die Anwender, die über die EOSDIS-Website auf die Daten zugreifen, sieht es so aus, als wären alle Daten in einer einzigen Datenbank gespeichert.

Mit der Unterstützung bei der Systemarchitektur sowie dem fortlaufenden Service hatte Quantum entscheidenden Anteil am Projekterfolg. Fazit des technischen Projektleiters von Raytheon: „Das uneingeschränkte Engagement der wichtigsten Anbieter war einer der größten Erfolgsfaktoren bei diesem Projekt.“