1 pièce(s) jointe(s)
Incendie OVH : plus d’un millier de sauvegardes ne seront probablement pas récupérables, admet OVHcloud
Incendie OVH : plus d’un millier de sauvegardes ne seront probablement pas récupérables,
admet OVHcloud
C'est sur twitter qu'Octave Klaba, fondateur et président d'OVH, a annoncé l'évolution des travaux de son entreprise. Cette fois-ci, une mauvaise nouvelle pour certains de ses clients : ils ne seront pas en mesure de récupérer leurs sauvegardes.
Le problème se situe au niveau de l’option payante de backup automatisé pour les VPS et les instances Public Cloud (PCI). Elle dépend du service de stockage objet (PCS). Ce dernier se trouvait dans le datacenter SBG3 à 99,5 %. Le reste était hébergé dans SBG2, que l’incendie a détruit. Est alors étudiée la possibilité de reconstituer les données. Étant donné que les fichiers sont chiffrés, l'exercice s'avère impossible s'il manque ne serait-ce qu'une infime partie. C'est le cas pour 1235 sur 19 486 sauvegardes. Octave Klaba explique :
« 0,5 % des serveurs ont été détruits. Nous avons vérifié et reconstruit les données, mais nous ne pouvons pas récupérer toutes les données. Il s’agit d’une petite partie ; nous n'avons pas trois copies puisque les trois copies étaient sur 0,5 % des serveurs. Des 1 235 sauvegardes sur 19 486 sauvegardes, 6 %, soit une petite partie du fichier, n’y sont pas. Étant donné que tous les fichiers sont chiffrés, nous ne pouvons pas reconstruire partiellement les 1 235 sauvegardes avec les données dont nous disposons. Nous continuons à vérifier, mais ..: /
« Toutes les 18 251 sauvegardes (VPS / PCI) sont en cours ».
Concernant les sauvegardes valides, la remise en service VPS a débuté ce jeudi 1er avril. OVHcloud compte les fournir « prêts à l’emploi » à partir de la dernière sauvegarde. Toutefois, l'hébergeur prévient que la récupération est susceptible de durer plusieurs jours. Pour mémoire, un serveur privé virtuel (VPS, pour Virtual Private Server) est un serveur dédié virtualisé. Contrairement à un hébergement web (dit mutualisé) où la gestion technique est prise en charge par OVHcloud, c'est vous qui administrez totalement votre VPS.
Au tweet « Ils sont probablement en train de créer un script qui pourra reconstruire les VPS à l'identique en termes d'IP et de configuration similaire et qui y remontera le dernier backup disponible (la veille de l'incendie donc), plus rapide (sur la totalité) et fiable que manuellement », OVHcloud Task Force Tech a répondu : « C'est ça, l'idée est de pouvoir reconstruire les VPS de SBG2 qui avaient des backups automatiques à partir du dernier backup, de la façon la plus rapide et industrialisée possible ».
Sur l’offre PCI, la mise à disposition des backups a démarré ce 31 mars dans une nouvelle région OpenStack. Il revient aux clients de recréer des instances à partir du manager ou de l’API.
Concernant la récupération des serveurs, OVHCloud a fait une mise à jour. Conformément à sa politique de transparence vis-à-vis de ses clients, l'entreprise a communiqué sur ses plans d'action en cours. Voici la situation actuelle :
- SBG1 : les serveurs de SBG1 sont inspectés, nettoyés et éventuellement réparés à Croix. Certains ont été renvoyés sur le site de Strasbourg et sont en cours de reconnexion. Les premiers racks sont en service depuis jeudi 1er avril. Les opérations se poursuivront pendant une semaine. Le site SBG1 est en cours de démantèlement.
- SBG 2 : des services équivalents dans d'autres datacenters sont proposés à tous ses clients, et OVH les accompagne par des solutions alternatives.
- SBG3 est opérationnel : à ce jour, 95 % des services VPS et 99 % des services Bare Metal Cloud, Public Cloud Instance et Public Cloud Storage ont été mis à disposition des clients. Le service vRack a également été restauré.
- Il y a eu un dysfonctionnement sur l'équipement énergétique du SBG3 jeudi 1er avril aujourd'hui vers 6 heures du matin, sans conséquence sur le service. Ses équipes ont mis en place les contrôles nécessaires et poursuivi les opérations sur site.
- SBG4 est opérationnel : 100% des serveurs Bare Metal Cloud sont à la disposition des clients.
Sources : Octave Klaba, OVH
Et vous ?
:fleche: Hébergez-vous des données ou sites sur OVHcloud ? Avez-vous été impacté par cet incendie ?
:fleche: Si oui, faites-vous partie des clients dont les services ont été restaurés ?
Voir aussi :
:fleche: OVHcloud lance le processus d'une éventuelle introduction en bourse selon un porte-parole de l'entreprise
:fleche: Capgemini et OVHcloud signent un partenariat mondial pour permettre aux organisations de mener leur transformation dans le cloud de manière sécurisée et apporter des solutions cloud robustes
:fleche: OVHcloud s'associe à Orange Business Services afin d'accompagner les projets de migration et de transformation vers le cloud OVHcloud dans « une approche multifournisseur »
:fleche: OVHcloud s'associe à IBM et Atempo pour offrir aux organisations européennes une solution de stockage dans le cloud souveraine et compétitive, partenariat basé sur les solutions de stockage sur bande
Option back up et snap souscrit et données non récupérable.
Bonjour je viens de recevoir un mail de la part d’ovh qui m’annonce que mes données sont non récupérable alors que j’avais souscrit toutes les options possibles. Je songe à entamer des procédures judiciaires contre eux. Des avis?
2 pièce(s) jointe(s)
OVH présente un plan « Hyper résilience » après l'incendie qui a détruit les serveurs et les sauvegardes
OVH présente un plan « Hyper résilience » en 3 points après l'incendie qui a détruit les serveurs et les sauvegardes,
Mais ne révélera pas la cause du désastreux incident avant 2022
Le fournisseur français de services de Cloud Computing OVH a présenté un plan en trois points conçu pour éviter une répétition de la perte de données et de services résultant de l'incendie qui a ravagé ses opérations à Strasbourg le 10 mars. Baptisé "Hyper résilience", ce plan combine une approche remaniée des sauvegardes internes, des sauvegardes externes des clients et une nouvelle politique de basculement entre trois centres de données par région. Dans une allocution vidéo diffusée sur Twitter le mardi, le PDG d'OVHcloud a également présenté ses excuses aux clients. Mais pour ceux qui attendent de connaître maintenant les raisons de l’incendie, OVH ne les révélera pas avant l’année prochaine.
L'incendie, qui a eu lieu le 10 mars, a détruit le hall SBG2 du centre de données de Strasbourg, a gravement endommagé le SBG1 et a entraîné un effort massif de nettoyage des équipements récupérables afin qu'ils puissent être installés dans les trois autres centres de données de Strasbourg ou déplacés vers d'autres installations OVH. Heureusement, personne n'a été blessé.
Dans une vidéo publiée sur Twitter, 50 jours après l'incident, Michel Paulin, directeur général d'OVHcloud, a présenté ses excuses aux clients. Il a également salué les efforts des équipes de récupération d'OVHcloud. Dans la même vidéo, Octave Klaba, président et fondateur d'OVHcloud, a promis de mettre en place une infrastructure de centre de données résiliente, la décrivant en termes similaires aux zones de disponibilité déjà utilisées par les principaux services de Cloud Computing Amazon, Azure et Google.
Klaba a déclaré qu'il soupçonnait deux unités d'alimentation sans coupure d'être à l'origine de l'incendie, révélant que les onduleurs, les batteries et les fusibles sont entre les mains de la police et des assureurs. Le 14 avril dernier, alors qu’OVH s'efforçait toujours de remettre en ligne tous les clients touchés par l'incendie, Klaba a décrit la situation comme un « véritable cauchemar ».
Le plan « Hyper résilience »
Lors de son intervention dans la courte vidéo, le fondateur d'OVH a promis que la société avait un « plan stratégique d'hyper résilience pour les cinq prochaines années » qui donnerait aux clients des sauvegardes gratuites et une infrastructure résiliente. OVHcloud a promis de publier plus de détails sur l'infrastructure la semaine prochaine.
Le plan d’OVH commence par les sauvegardes internes. « Bien sûr, OVH dispose de sauvegardes internes pour tous les services, pour nos besoins internes », a déclaré Klaba. « Et nous avons décidé de mettre à niveau la façon dont nous effectuons les sauvegardes internes ». Certaines sauvegardes étaient dans le même centre de données, tandis que d'autres étaient dans des centres de données distants. L'opérateur propose désormais de créer une région de quatre centres de données où il hébergera des sauvegardes internes physiquement séparées des régions opérationnelles.
À l'avenir, a-t-il dit, « nous allons créer une région avec quatre centres de données en dehors de tous nos centres de données. Et c'est là que nous placerons toutes les sauvegardes internes. Ce sera donc totalement en dehors de tous nos centres de données dans une autre région ».
Ensuite, OVH ajoutera des fonctionnalités aux sauvegardes dans la nouvelle région. Alors que les données de sauvegarde répondaient jusqu'à présent à ses besoins internes, OVH propose que les clients puissent répliquer et supprimer les données de sauvegarde pour leurs propres besoins dans le cadre d'un service gratuit. « Nous voulons être considérés comme l'expert de la sauvegarde », a dit le fondateur.
Enfin, OVH a indiqué qu'il allait modifier les règles internes relatives à la construction des centres de données ainsi qu'à la résilience gérée par logiciel et fonctionnant dans trois centres de données d'une même région, en commençant par Paris, avant d'être introduit dans le reste de l'Europe, aux États-Unis et en Asie. Toutefois, les détails de cette infrastructure résiliente ont été reportés à un communiqué de presse prévu pour la semaine prochaine.
OVHcloud a restauré 118 000 des 120 000 services clients touchés par l'incendie, a déclaré Paulin, donnant des détails sur l'effort de restauration : « Nous avons été en mesure de produire jusqu'à 16 000 serveurs pour pouvoir restaurer les services, et nous avions jusqu'à 200 personnes sur le site. Maintenant, nous avons encore 100 personnes sur place ».
Paulin a déclaré qu'OVHcloud veut « répondre à chaque client un par un », et a renforcé ses équipes de soutien pour traiter les questions commerciales, techniques et de facturation ; ainsi que la mise en place d'une équipe dédiée à la communication sur les médias sociaux.
Klaba a fait un vœu similaire concernant la modernisation du campus après une panne massive en 2017. À l'époque, le groupe s'était lancé dans un « plan d'investissement de 4 à 5 millions d'euros à la suite d'une panne majeure qui a privé trois des centres de données de Strasbourg – SBG1, SBG2 et SBG4 – de courant pendant 3,5 heures en novembre 2017 ».
Klaba lui-même a déclaré à l'époque de la panne de 2017 qu'elle était en partie due au fait que « le réseau électrique de SBG a hérité de tous les défauts de conception qui étaient le résultat des petites ambitions initialement prévues pour ce site – avec le réseau électrique de SBG2 construit au-dessus du réseau électrique de SBG1 au lieu de les rendre indépendants l'un de l'autre ».
OVH n’est pas en mesure de révéler la cause de l’incendie avant 2022
Après l'incendie de mars 2021, Klaba a déclaré qu'OVH allait reconstruire les centres de données touchés par l'incendie : Strasbourg 1, 2 et 4. Mais « En ce qui concerne la cause sous-jacente de l'incendie, je prévois que les informations officielles ne seront pas divulguées avant l'année prochaine », a déclaré un porte-parole d'OVHcloud en réponse à la demande de clarification de Data Center Dynamics après la publication de la vidéo d'OVHcloud mardi, expliquant que c'était en raison de « l'implication des autorités françaises, des compagnies d'assurance, etc. ».
Les rapports de pannes peuvent prendre du temps, mais 10 mois, c'est long. Le gouvernement de Singapour a été impliqué dans les enquêtes lors de la défaillance de novembre 2017, qui a provoqué une panne de trois heures à la bourse de Singapour (SGX) – mais le rapport a été remis à la SGX en quatre mois (au mois de mars suivant), et publié en juin. Le retard jusqu'à l'année prochaine pourrait avoir un impact sérieux sur les plans d'OVHcloud d'avoir une introduction en bourse plus tard cette année, selon DCD.
Cette précédente mise à niveau aurait impliqué la « désinstallation de conteneurs maritimes » (conteneurs d'expédition) et d'importants travaux électriques.
Alors qu'OVHcloud continue à travailler pour restaurer les services, les critiques s'accumulent dans la communauté technique française. Un article paru dans VO News accuse OVHcloud d'avoir commis une série d' « erreurs grossières », telles que le manque d’indépendance de SBG4, ce dernier tirant son énergie du même circuit que SBG2. En outre, SBG2 ne disposait pas de sa propre salle réseau. Les critiques reprochent aussi à OVH d’avoir des planchers du centre de données de cinq étages de SBG2 en bois. OVHcloud ne dispose également pas d'un système d'extinction automatique d'incendie.
« Les responsables devront tirer les conséquences de tant d'erreurs accumulées », indiquait l'article. « Vouloir vendre au plus bas prix est un fait, ne pas prendre de mesures responsables pour assurer un minimum de sécurité est une erreur stratégique qui leur est totalement imputable, et certains clients qui ont tout perdu vont le leur faire payer très cher ».
« Nous sommes vraiment désolés pour ce qui s'est passé à Strasbourg », a déclaré Paulin dans la vidéo, avant de faire l'éloge de ses collègues : « Je tiens également à remercier les équipes. Elles ont travaillé, nuit et jour pour pouvoir rétablir, le plus rapidement possible, tous nos services ». En mars, OVHcloud a promis de créer un laboratoire de simulation des incendies de datacenters pour mieux les modéliser et trouver des moyens plus efficaces de les éteindre.
Source : Vidéo d’OVH
Et vous ?
:fleche: Que pensez-vous de l’allocution d’OVH sur Twitter ?
:fleche: Quel est votre avis sur le plan "Hyper résilience" du fournisseur de service Cloud ?
:fleche: OVHcloud ne révélera pas la cause de l’incendie avant 2022. Quels commentaires faites-vous des raisons de ce retard ?
Voir aussi :
:fleche: OVHcloud : Octave Klaba annonce l'adoption d'une nouvelle politique de sauvegarde gratuite des données de tous les clients, et la remise à la police des onduleurs et batteries détruits par l'incendie
:fleche: OVHcloud promet de créer un laboratoire de simulation des incendies de datacenters, pour mieux les modéliser et trouver des moyens plus efficaces de les éteindre
:fleche: Incendie OVH : plus d'un millier de sauvegardes ne seront probablement pas récupérables, admet OVHcloud
:fleche: OVHcloud s'associe à IBM et Atempo pour offrir aux organisations européennes une solution de stockage dans le cloud souveraine et compétitive, partenariat basé sur les solutions de stockage sur bande
