Pourquoi Bing Chat met-il autant de temps à répondre ? La réponse est dans les GPU

Le mode créatif de Bing Chat fait peau neuve avec un meilleur formatage des réponses

Avez-vous déjà essayé Bing Chat, le chatbot de Microsoft qui vous permet de discuter de n’importe quel sujet grâce à l’intelligence artificielle ? Si c’est le cas, vous avez peut-être remarqué que les réponses du chatbot sont de plus en plus lentes. En effet, la demande pour ce service augmente plus rapidement que Microsoft ne peut ajouter plus de GPU à ses serveurs.

Cela a été reconnu par Mikhail Parakhin, responsable des services Web et publicitaires de Microsoft, dans une réponse Twitter à un utilisateur qui se plaignait de la latence du chatbot. Parakhin s’est excusé pour le problème et a assuré qu’il serait bientôt résolu. « Désolé pour la latence – l’utilisation continue de croître, nous n’ajoutons pas de GPU assez rapidement. Nous allons le réparer », a-t-il écrit.

L’utilisation de Bing Chat augmente beaucoup plus rapidement que la mise à l’échelle du GPU

Les GPU sont des puces spécialisées qui sont utilisées pour traiter les graphiques ainsi que pour former et exécuter des modèles d’intelligence artificielle comme Bing Chat. Le leader de ce marché est actuellement NVIDIA, mais il y a des rumeurs selon lesquelles AMD et Microsoft collaborent pour développer de nouvelles puces IA qui pourraient réduire la dépendance à NVIDIA.

Pendant ce temps, Parakhin a également profité de l’occasion pour répondre à quelques questions supplémentaires sur Bing Chat d’autres utilisateurs de Twitter. Il leur a dit que la fonctionnalité d’historique de chat tant attendue arrivera dans « des jours ». Il leur a également dit qu’ils envisageaient d’ajouter plus de rapports d’aspect dans Bing Image Creator, mais cela n’arrivera pas « immédiatement ». Enfin, il a dit qu’il espérait que Bing Chat puisse prendre en charge Code Interpreter à un moment donné, mais a ajouté : « Cela doit être fait en toute sécurité – ce n’est pas une tâche triviale. »

Bing Chat est l’un des projets les plus ambitieux et innovants de Microsoft dans le domaine de l’intelligence artificielle générative. Il s’agit d’un chatbot capable de comprendre et de communiquer couramment dans plusieurs langues, de générer des contenus créatifs tels que des poèmes, des histoires, des images ou du code, et d’aider l’utilisateur dans diverses tâches telles que la recherche d’informations ou l’amélioration de son écriture. Cependant, il a également ses limites et ses défis, tels que le besoin de plus de GPU pour offrir une expérience fluide et satisfaisante aux utilisateurs.

Si vous voulez essayer Bing Chat par vous-même, vous pouvez y accéder depuis le moteur de recherche Bing ou depuis son site officiel. Vous n’avez pas besoin de vous inscrire ou d’attendre une liste d’attente. Choisissez simplement un mode (équilibré, créatif ou précis) et commencez à discuter avec le chatbot. Bien sûr, soyez patient si les réponses prennent un peu plus de temps que la normale.

Découvrez le reportage du mois (sous-titré en français), l’IA gagnera t-elle face aux champion du monde du jeu de Go ? :

YouTube video