Airbus Defence and Space nimmt PB-Archiv für Satellitendaten mit StorNext Scale-out Storage in Betrieb

Archivierung von Satellitendaten im Petabyte-Bereich

Die europäische Raumfahrtbehörde ESA (European Space Agency) befördert mit jeder Sentinel-Mission zwei Satelliten in den Orbit – innerhalb weniger Jahre nach Beginn des Programms wird die ESA vier Sentinel-Satelliten in der Erdumlaufbahn haben. Jeder Satellit überträgt mehr als 1 PB an Daten pro Jahr, und das über geplante 15 Jahre. Zur Speicherung all dieser Daten musste ein neues Archiv angelegt werden. „Wir archivieren nicht nur die Roh- oder Level-0-Daten der Instrumente, sondern auch die vom PGDS (Payload Data Ground Segment, für Nutzdaten zuständiges Bodensegment) verarbeiteten Daten, also Level-1- und -2-Produkte,“ erklärt Mark Curtis, Verantwortlicher für die technische Entwicklung bei Airbus Defence and Space. „Um ein langlebiges Archiv für diese Datenmengen zu erhalten, brauchten wir eine Speicherlösung, die sich auf mehrere Dutzend Petabyte skalieren lässt.“

Verwaltung mehrerer Millionen von Dateien, wirtschaftlich umgesetzt mit Tapes

„Wenn alle vier Satelliten im Orbit sind, müssen wir 40.000 Dateien täglich archivieren“, so Curtis. „Wir suchten also nach einem leistungsstarken Dateisystem, das zig Millionen Dateien verträgt.“ Außerdem sollte das Dateisystem eine ganze Palette an Dateigrößen und -typen unterstützen.

„Die Kostenkontrolle ist wesentlich, da wir für die Sentinel-Missionen Dutzende Petabyte an Daten speichern müssen“, erläutert Curtis. „Tape ist ein extrem günstiges Speichermedium: Jede Bandkassette speichert riesige Datenmengen zu geringen Kosten, und Tape Libraries haben einen geringeren Strom- und Kühlungsbedarf als schnellere Systeme.“ Tape eignet sich hervorragend für Anwendungen, in denen große Datenvolumen gestreamt werden.

Aufbau eines skalierbaren Multi-Tier-Archivs mit StorNext

Das Team von Airbus entschied sich für eine mehrstufige StorNext-Lösung mit StorNext AEL6000 Tape-Archiven, Metadaten-Appliances und Disk-Cache – alles auf der Basis von StorNext. Ein Grund für die Entscheidung zugunsten StorNexts waren frühere positive Erfahrungen mit Quantum bei Infoterra, einem Bildlieferanten für Google Earth, der inzwischen zu Airbus Defence and Space gehört.

„Bei Quantum hat man immer auf unsere Verbesserungsvorschläge für ihre Lösungen gehört“, berichtet Curtis. „Im Fall von StorNext 5 hat Quantum Feedback von uns und anderen Kunden integriert, was zur Entwicklung einer besseren Storage-Lösung beitrug.“

Das Archiv ist ursprünglich für 18 PB Daten ausgelegt, kann aber auf 37 PB skaliert werden. „Mit StorNext können wir unser Archiv problemlos skalieren“, erklärt Curtis, „und sind damit auch in der Zukunft für neue Satellitenmissionen und weitere Datensammlungen gerüstet.“

Kontinuierlicher Daten-Ingest und -Zugriff in Höchstgeschwindigkeit

„Unsere aktuelle Konfiguration liefert mit dem StorNext File System eine Performance von 1,1 GB/s“, so Curtis. „So können wir all die Rohdaten und verarbeiteten Daten, die wir erhalten, schnell einspeisen und rasch wieder auffinden, falls nötig.“ In der Regel kann das Airbus-Team einzelne Dateien in weniger als einer Minute aus dem Archiv zurückladen, und dank Fibre-Channel-Konnektivität werden auch große Datentransfers schnell bereitgestellt. Das System unterstützt alle gängigen Betriebssysteme, darunter Linux und Windows.

Sicherung von Daten mit geringem Personalaufwand

Die EDLM (Extended Data Life Management)-Funktionen helfen bei der Sicherung der Daten. „Die regelbasierten EDLM-Funktionen des StorNext-Tape-Archivs helfen dabei, die Integrität der Daten auf den Bändern langfristig zu wahren“, so Curtis. Werden bei einer Kassette Qualitätsprobleme festgestellt, migriert StorNext automatisch die Daten auf ein besseres Tape, ohne dass hierfür das Eingreifen eines Administrators nötig ist. EDLM ist ein absoluter Pluspunkt.“

„Die Administrationskosten bei StorNext sind ziemlich niedrig“, schildert Curtis. „Mit der Quantum Lösung reichen zwei Mitarbeiter, um dieses wachsende PB-Archiv mit Satellitendaten zu verwalten.“

Mehr Flexibilität für unerwarteten Datenzuwachs

StorNext passt sich auch an neuen Anforderungen an. Ein neu geplantes Relais-Satellitensystem etwa wird voraussichtlich sehr viel mehr Speicher benötigen als ursprünglich vorgesehen. „Glücklicherweise können wir mit StorNext unsere Umgebung ganz einfach skalieren. Wir können ohne großen Aufwand neue Archivsysteme hinzufügen – und auf LTO-7 umsteigen – und damit auch den neuen Anforderungen an die Datensicherung gerecht werden“, erläutert Curtis.

„Wenn die ESA die nächsten Sentinel-Satelliten ins All befördert, werden sich die Speicheranforderungen vielleicht wieder ändern“, so Curtis. „Aber dank StorNext sind wir vorbereitet.“