Microsoft a confirmé de vastes perturbations sur ses services Outlook, Teams et Microsoft 365. Les correctifs appliqués pour améliorer la fiabilité n’ont pas produit l’effet attendu.
Sur le réseau social X, vendredi, l’éditeur a précisé surveiller les modifications déployées et admis qu’elles ne fonctionnaient pas comme prévu. Il a ajouté qu’il cherchait des mesures susceptibles de rétablir la santé des services dans les zones touchées.
La panne a aussi touché les connecteurs d’intégration exploités par OpenAI et Anthropic, deux fournisseurs d’intelligence artificielle.
Peu après 13 h, heure de l’Est, près de 130 000 personnes ont signalé une impossibilité d’accéder à Outlook auprès de Downdetector. Ce site recense les incidents par la réunion d’indicateurs issus de plusieurs sources.
Le nombre de signalements a ensuite baissé. Beaucoup d’utilisateurs n’arrivaient toujours pas à envoyer ou recevoir des courriels, ni à charger leur boîte de réception.
Downdetector a décompté plus de 38 000 signalements relatifs à Microsoft 365 et environ 4 500 signalements liés à Teams.
Le groupe a d’abord déclaré examiner toutes les pistes capables de réduire l’impact.
La société a indiqué que ses équipes avaient suspendu tous les déploiements. Elles dérivaient le trafic supplémentaire hors des infrastructures endommagées et redémarraient les serveurs touchés pour les remettre en service.
Dans un message sur X, elle a précisé relancer et valider les serveurs touchés. Elle a ajouté examiner si l’annulation d’un petit nombre de modifications récentes de configuration pouvait accélérer le rétablissement.
Elle a signalé que les machines remises en service redevenaient parfois inaccessibles après réception du trafic. Elle a annoncé analyser les données de diagnostic pour identifier la cause de ce comportement.
Plusieurs heures plus tôt, la première annonce faisait état d’une surcharge qui touchait une partie de l’infrastructure dans plusieurs régions. Cette situation semblait provoquer les erreurs de connexion.
Elle a ensuite confirmé que la surcharge ne venait pas d’une hausse du trafic, mais de l’indisponibilité inattendue de certains serveurs, qui ont mis les autres machines sous pression.
À 14 h 50, heure de l’Est, une autre mise à jour a annoncé la vérification d’un changement de configuration destiné à corriger le défaut qui rendait les serveurs incapables de réussir les contrôles automatiques de santé, ce qui les rendait indisponibles.
Elle a ajouté avoir lancé le redémarrage de tous les serveurs touchés et suivre leur état pendant leur retour en service.
La direction n’a trouvé aucun changement récent lié au début de l’incident. L’enquête a plutôt dirigé les soupçons vers un composant chargé de vérifier la santé des serveurs. Des mesures ont été prises pour éviter que d’autres machines soient atteintes, pendant que les équipes tentaient de rétablir les serveurs en panne.
Elle a validé une méthode de contrôle de santé alternative. Cette méthode a permis à un sous-ensemble de serveurs touchés de revenir en service. Elle a été appliquée plus largement. La société a préparé des systèmes de récupération automatique capables de repérer les machines sans réponse et de les redémarrer afin de maintenir la stabilité pendant la progression de la correction.
Dans la journée, Microsoft avait d’abord annoncé avoir résolu une perturbation de Teams pour les utilisateurs d’Amérique du Nord. L’entreprise a ensuite noté que le problème pouvait aussi altérer la connexion à Microsoft 365 dans d’autres régions.
OpenAI a indiqué enquêter sur un souci lié aux connecteurs Microsoft, où de nouvelles liaisons pouvaient se rompre et où les outils ne fonctionnaient pas comme prévu.
Anthropic a dit avoir repéré une défaillance chez un fournisseur amont, qui touchait son connecteur Microsoft 365.