
L’énorme panne mondiale qui a touché Microsoft avait été préparée pendant des mois, comme le révèle l’explication officielle de l’entreprise.
Jeudi dernier, Microsoft Outlook et d’autres produits de la firme ont cessé de fonctionner. Le service n’a été rétabli qu’après près d’une journée complète. Cet incident a provoqué un chaos mondial, perturbant des hôpitaux, des services de police et des écoles, et a paralysé le travail dans de nombreuses entreprises.
L’entreprise vient de publier son premier rapport sur les origines du problème. Elle désigne une « cause fondamentale » qui résulte de la combinaison de trois facteurs ayant mis hors service un élément clé de son réseau. Les prémices de ces dysfonctionnements remontent au mois de juillet.
Il y a plusieurs mois, Microsoft a diffusé une mise à jour pour les serveurs qui alimentent Microsoft 365. Son déploiement a débuté en juillet et s’est poursuivi pendant « plusieurs semaines » sans qu’aucun incident ne soit signalé.
Pendant plus de trois mois, la modification semblait fonctionner correctement. Les tests ne révélaient aucun problème.
Mais cette mise à jour contenait en réalité un défaut de programmation. Ce bug provoquait la saturation et l’arrêt des serveurs lorsqu’ils devaient traiter un volume de données très important. Microsoft explique que l’entreprise n’avait pas détecté ce défaut car ses tests n’avaient pas anticipé un trafic aussi massif. Le problème était également plus critique sur les matériels les plus récents et les plus puissants, qui n’étaient pas utilisés pendant cette phase de test.
Ensuite, le réseau de Microsoft a subi une charge suffisamment élevée pour déclencher ces problèmes. Environ quinze heures avant le début de la panne, Microsoft Teams a basculé de son réseau habituel vers celui qui alimente aussi Exchange Online, le service qui gère les courriels dans Outlook.
Ce changement est habituellement sans conséquence. Mais au même moment, environ 14% de la capacité des serveurs de Microsoft était indisponible à cause d’un incident indépendant. L’entreprise avait prévu de les remettre en service via ses processus de routine.
Chacun de ces incidents pris isolément serait normalement gérable. Mais la conjonction d’une charge accrue et d’une capacité réduite pour y faire face a exposé les systèmes de Microsoft au problème latent introduit en juillet.
Les requêtes se sont alors accumulées et les serveurs ont cessé de répondre, jeudi, pendant les heures de pointe du trafic aux États-Unis. D’ordinaire, les systèmes de Microsoft basculeraient automatiquement vers d’autres serveurs opérationnels, mais cette manœuvre a à son tour rendu ces autres serveurs vulnérables au même défaut.
Une cascade de problèmes s’est ensuivie. Le trafic s’est reporté sur un nombre toujours plus réduit de serveurs, ce qui a provoqué leur saturation successive. En moins de deux heures, l’ensemble du réseau de Microsoft était touché.
Au plus fort de la crise, 80% des serveurs de Microsoft ne répondaient plus. Le système n’a pas pu absorber le trafic et a fini par tomber complètement.
Toute une série de services Microsoft, comme OneDrive, SharePoint, les applications Office et Teams, ont cessé de fonctionner avec Outlook. Certaines de ces applications ont pu être restaurées plus vite car elles ont pu quitter le réseau défaillant, ce qui n’était pas possible pour Outlook.
Les tentatives de Microsoft pour résoudre le problème ont été entravées par de nouvelles difficultés. Dès qu’un serveur était remis en ligne, il subissait un afflux de trafic si massif qu’il était à nouveau submergé et tombait en panne.
De plus, comme le problème provenait d’un bug présent depuis plusieurs mois, Microsoft ne pouvait pas simplement annuler la mise à jour incriminée. Cette situation a retardé la solution. L’entreprise a dû développer un correctif spécifique, puis mettre hors service des groupes de serveurs pour les mettre à jour et les redémarrer.
Charles Lamanna, vice-président exécutif de Microsoft en charge de Copilot, des agents et de la plateforme, a déclaré que l’entreprise présentait ses excuses les plus sincères à tous ses clients et reconnaissait l’impact de cet incident sur leurs activités. Microsoft a ajouté qu’elle publierait un rapport final et plus détaillé plus tard dans la semaine.
