Stockage objet : Interview de Michael Joly Armani

Michaël Joly Armani présente le principe et l’intérêt du Stockage Objet en adéquation avec les méthodes de fonctionnement des systèmes de production et d’exploitation informatique de DARVA.

Interview – Michaël Joly Armani, Ingénieur de Production à DARVA.


En 2015, DARVA a mis en œuvre du « stockage objet », de quoi s’agit-il ?

Historiquement, les fichiers étaient conservés sur des systèmes de fichiers traditionnels (type NAS pour Network Attached Storage). Un fichier contenait des données qu’il fallait lire ou écrire sous forme d’enregistrements.

Depuis, les fichiers contiennent souvent des données « non-structurées » : image, fichier PDF, documents bureautiques. L’application qui les consomme traite le fichier comme un tout, qu’elle charge fonctionnellement en un seul accès.

Avec l’avènement progressif du web, des web services, des plateformes d’échanges de fichiers et des normes de sécurité, l’utilisation du protocole HTTP est devenue incontournable. Il s’est substitué à FTP, NFS, CIFS et d’autres protocoles propriétaires. Puis Amazon, avec son service S3, pour Simple Storage Service à défini un standard de fait.

A DARVA, en 2015, nous avons mis en œuvre un service de stockage objet compatible Amazon S3 pour les applications gérant des pièces jointes en nous appuyant sur ces dernières tendances.

Il s’agit donc essentiellement d’un changement de méthode d’accès ?

En théorie oui, en pratique c’est beaucoup plus que cela.

Le protocole étant plus récent et les exigences de disponibilité, scalabilité et performance étant beaucoup plus fortes avec le web, le stockage objet est en adéquation avec celles-ci.

Côté technique, deux mécanismes existent pour assurer la protection des données : l’Erasure Coding, méthode divisant les données en fragments répartis sur différents nœuds et le Replica Factor, duplication de la donnée sur différents nœuds.

Ce type de stockage permet nativement une scalabilité horizontale. Grâce à ces deux méthodes, la maintenance est facilitée sur les nœuds de stockage. Un nœud peut être mis en maintenance sans que le service rendu soit impacté.

Par ailleurs, les évolutions en cours de déploiement vont nous permettre de disposer de fonctionnalités supplémentaires telles que :

  • L’ajout de métadonnées afin de valoriser les objets stockés pour effectuer une analyse ultérieure et des recherches rapides.
  • Le versioning d’objets : une application peut écrire plusieurs fois un fichier ayant le même nom. Celui d’origine n’est pas supprimé, il est remplacé par le nouveau. L’ancien est accessible en précisant son numéro de version.
  • Sans oublier le WORM (Write Once Read Many) qui permet de garantir, par exemple dans un cadre légal, qu’un objet ne pourra pas être supprimé pendant une durée donnée.

Quelles sont les solutions DARVA qui en bénéficient ?

De la même manière que les bases NoSQL utilisées, le stockage objet est une brique essentielle des applications de dernière génération (à partir de 2015).

Ces applications sont conçues pour des mises à jour à chaud (les couches techniques : OS, bases de données, stockage objet mais aussi les applications elles-mêmes).

Par exemple, pour l’application OREA (Outil pour les Recommandés Electroniques en Assurance), les données doivent être conservées suivant le type, entre 7 et 10 ans. Pour assurer cette rétention, nous avons activé la fonctionnalité WORM.

Et pour les applications plus anciennes ?

Nous avons réalisé des modifications de nos applications traditionnelles pour qu’elles en bénéficient également, ainsi les applications Auto ont été migrées complètement en 2019. Nous prévoyons également le passage de la totalité du domaine habitation au premier trimestre 2020.

La solution est-elle liée à Amazon ?

Elle l’est par sa conformité au standard défini par Amazon mais le stockage est situé dans le Cloud interne DARVA. Quand nous avons fait ce choix, Ceph s’est imposé à nous car il existait peu d’offre. Depuis, pour des raisons de simplicité de maintenance et de fonctionnalités supplémentaires, nous déployons une autre solution : Cloudian. Pour DARVA, nous avons mis en place 2 clusters éloignés géographiquement de plus de 80 km, avec une réplication bidirectionnelle, permettant de garantir un niveau de service maximal.

Quelle est la roadmap des évolutions techniques à DARVA ?

Depuis octobre 2018, nous travaillons sur la containerisation. A ce jour, les 3/4 de nos applications sont migrées sous Docker et nous allons déployer en production l’orchestrateur Kubernetes à partir de février.

Une 1re expérience sur l’orchestration a été réalisée début 2019 (Lire l’interview d’Anthony CHARLES)