Avec StorNext, notre archive est facilement extensible. Nous pourrons ainsi couvrir de nouvelles missions satellite et recueillir des données pendant encore de nombreuses années.
Airbus Defence and Space déploie une archive de plusieurs pétaoctets de données satellite grâce au stockage en mode «scale-out» StorNext
Archivage de plusieurs pétaoctets de données satellite
L’Agence spatiale européenne (ESA) lance deux satellites pour chaque mission Sentinel. Ce sont ainsi quatre satellites Sentinel qui seront placés en orbite quelques années après le lancement du programme. Chaque satellite transmet plus d’1Po de données par an pendant plus de 15ans. La conservation d’un tel volume d’informations nécessitait la mise en place d’une nouvelle archive. «Nous archivons non seulement les données d’instruments brutes (de niveau0), mais aussi celles traitées par le segment sol de charge utile (PLGS, Payload Data Ground Segment) de l’ESA, qui génère des produits de niveaux1 et 2», explique MarkCurtis, responsable de la conception technique chez Airbus Defence and Space. «Pour assurer l’archivage à long terme de cette masse d’informations, nous avions besoin d’une solution de stockage capable d’évoluer jusqu’à des dizaines de pétaoctets.»
Gestion de millions de fichiers en tirant parti des avantages économiques de la bande
«Lorsque les quatre satellites seront en orbite, nous devrons archiver quotidiennement 40000fichiers», poursuit MarkCurtis. «Il nous fallait donc un système de fichiers robuste, à même de gérer des dizaines de millions de fichiers.» Il devait en outre prendre en charge une grande diversité de tailles et de types de fichiers.
«Les missions Sentinel nous amènent à stocker des dizaines de pétaoctets de données, ce qui fait de la maîtrise des coûts un facteur essentiel», déclare MarkCurtis. «La bande est un support très économique: chaque cartouche de bande permet de stocker une grande quantité de données à peu de frais, et les besoins en alimentation et en refroidissement des librairies sont inférieurs à ceux des systèmes de stockage plus rapides.» De plus, les bandes conviennent parfaitement aux applications impliquant la transmission d’importants volumes de données.
Création d’une archive multiniveau évolutive avec StorNext
L’équipe Airbus a choisi une solution de stockage multiniveau StorNext, composée de systèmes d’archivage sur bande StorNextAEL6000, d’appliances de métadonnées et d’un cache sur disque, le tout optimisé par StorNext. Ce choix a en grande partie été motivé par l’expérience passée positive qu’Infoterra, l’un des fournisseurs d’images pour GoogleEarth qui a depuis fusionné avec Airbus Defence and Space, avait eue de Quantum.
«Quantum a toujours tenu compte de nos remarques pour améliorer ses solutions», se réjouit MarkCurtis. «Dans le cas de StorNext, Quantum a intégré nos observations, ainsi que celles d’autres entreprises, ce qui a contribué à améliorer la solution de stockage.»
L’archive prend actuellement en charge 18Po de données, mais peut évoluer jusqu’à plus de 37Po. «Avec StorNext, notre archive est facilement extensible», indique MarkCurtis. «Nous pourrons ainsi couvrir de nouvelles missions satellite et recueillir des données pendant encore de nombreuses années.»
Ingestion et restitution continues et ultrarapides des données
«Avec le système de fichiers StorNext, notre configuration actuelle offre des performances d’1,1Go/s», déclare MarkCurtis. «Nous pouvons ainsi ingérer et restituer rapidement les données brutes ou traitées que nous recevons, et les restituer sans délai chaque fois que nécessaire.» Il faut en général moins d’une minute à l’équipe Airbus pour restituer des fichiers individuels de l’archive, et la connectivité Fibre Channel garantit également un transfert rapide de grands volumes de données. Le système est compatible avec un large éventail de systèmes d’exploitation, dont Linux et Windows.
Protection des données par une petite équipe
Les fonctions EDLM (Extended Data Life Management) du système assurent la protection des données. «Les fonctions EDLM régies pas des règles du système d’archivage sur bande StorNext permettent de maintenir l’intégrité à long terme des données sur bande de manière proactive», explique MarkCurtis. «Si une bande présente un problème, StorNext migre automatiquement les données vers une bande en parfait état, sans que les administrateurs aient à bouger le petit doigt. EDLM offre un énorme avantage.»
«StorNext réduit considérablement les coûts d’administration», reconnaît MarkCurtis. «Avec la solution de Quantum, il suffit de deux personnes pour gérer cette archive de plusieurs pétaoctets de données satellite en rapide expansion.»
Flexibilité en cas de croissance imprévue des données
StorNext permet également de faire face à l’évolution des besoins. Le lancement prévu d’un système de satellites relais, par exemple, devrait exiger une capacité de stockage supérieure aux estimations initiales. «Heureusement, StorNext nous permet d’étendre facilement la capacité de notre environnement. Nous pouvons ajouter de nouveaux systèmes d’archivage et migrer vers la technologie LTO-7 pour répondre à ces nouvelles exigences en matière de collecte de données, sans restructuration majeure de l’infrastructure», se félicite MarkCurtis.
«Le lancement de la prochaine série de satellites Sentinel de l’ESA risque d’accroître encore les besoins en stockage», conclut MarkCurtis. «Avec la solution StorNext, nous sommes parés.»