Pourquoi c’est important : ce n’est un secret pour personne que les processeurs de serveur Epyc d’AMD se vendent comme des petits pains, au point qu’Intel doit fortement escompter les puces Xeon pour empêcher les clients hyperscale existants et potentiels d’opter pour Team Red. Cela dit, il y a une raison pour laquelle les entreprises recherchent de plus en plus des options et, dans certains cas, choisissent AMD plutôt qu’Intel lorsqu’il s’agit de construire leur infrastructure de centre de données.
Récemment, l’ingénieur logiciel senior de Netflix Drew Gallatin a offert des informations précieuses sur les efforts de l’entreprise pour optimiser l’architecture matérielle et logicielle qui permet de diffuser d’énormes quantités de divertissement vidéo à plus de 209 millions d’abonnés. L’entreprise avait pu extraire jusqu’à 200 Go par seconde à partir d’un seul serveur, mais en même temps, elle voulait passer à la vitesse supérieure.
Les résultats de ces efforts ont été présentés lors de la conférence EuroBSD 2021. Gallatin a déclaré que Netflix était capable de pousser du contenu jusqu’à 400 Go par seconde en utilisant une combinaison de processeurs 32 cœurs Epyc 7502p (Rome) d’AMD, 256 gigaoctets de mémoire DDR4-3200, 18 disques Western Digital SN720 NVMe de 2 téraoctets, et deux adaptateurs réseau PCIe 4.0 x16 Nvidia Mellanox ConnectX-6 Dx, chacun capable d’accueillir deux connexions de 100 Gb.
Pour avoir une idée du débit théorique maximum de ce système, il existe huit canaux mémoire offrant une bande passante d’environ 150 gigaoctets par seconde et 128 voies PCIe 4.0 permettant jusqu’à 250 gigaoctets de bande passante d’E/S. Dans les unités de mise en réseau, cela représente environ 1,2 To par seconde et 2 To par seconde, respectivement. Il convient également de noter que c’est ce que Netflix utilise pour diffuser son contenu le plus populaire.
Cette configuration peut normalement servir du contenu jusqu’à 240 Go par seconde, principalement en raison des limitations de bande passante mémoire. Netflix a ensuite essayé différentes configurations d’architecture de mémoire non uniforme (NUMA), avec un nœud NUMA capable de 240 Go par seconde et quatre nœuds NUMA produisant environ 280 Go par seconde.
Cependant, cette approche s’accompagne d’une multitude de problèmes, tels que des latences plus élevées. Idéalement, vous devez conserver autant de données en masse que possible hors de la NUMA Infinity Fabric pour éviter les congestions et les blocages du processeur en raison de la concurrence avec les accès mémoire normaux.
La société a également examiné le silo de disques et le silo de réseau. Cela signifie essentiellement essayer de tout faire sur le nœud NUMA où le contenu est stocké ou sur le nœud NUMA choisi par le partenaire LACP. Cependant, cela complique encore les choses lorsque vous essayez d’équilibrer l’ensemble du système et conduit à un tissu Infinity sous-utilisé.
Gallatin a expliqué qu’il était possible de contourner ces limitations en utilisant des optimisations logicielles. En déchargeant les tâches de chiffrement TLS sur les deux adaptateurs Mellanox, la société a augmenté le débit total à 380 Go par seconde (jusqu’à 400 avec des ajustements supplémentaires), ou 190 Go par seconde par carte d’interface réseau (NIC). Le processeur n’ayant plus à effectuer de chiffrement, l’utilisation globale est tombée à 50 % avec quatre nœuds NUMA et à 60 % sans NUMA.
Netflix a également exploré des configurations basées sur d’autres plates-formes, dont une avec le processeur Intel Xeon Platinum 8352V (Ice Lake) et l’Altra Q80-30 d’Ampère – un monstre avec 80 cœurs Arm Neoverse N1 fonctionnant jusqu’à 3 GHz. Le banc d’essai Xeon a pu atteindre un modeste 230 Gb par seconde sans déchargement TLS, et le système Altra a atteint 320 Gb par seconde.
Non contente du résultat de 400 Gb par seconde, la société construit déjà un nouveau système qui devrait gérer les connexions réseau de 800 Gb par seconde. Cependant, certains des composants nécessaires ne sont pas arrivés à temps pour effectuer des tests, nous en reparlerons donc l’année prochaine.