L’innovation technologique continue de marquer des avancées significatives, notamment à travers l’intégration des Apple Vision Pro dans le processus de formation des robots humanoïdes par NVIDIA. Cette collaboration ouvre de nouvelles perspectives dans le domaine de l’intelligence artificielle, où la création de données synthétiques joue un rôle crucial. Les détails sur cette démarche attirent l’attention sur les implications futures de ces technologies.
Bien qu’Apple et NVIDIA ne collaborent plus aussi étroitement aujourd’hui, il est vrai que les Apple Vision Pro jouent un rôle technologique essentiel pour entraîner les robots humanoïdes de l’entreprise de cartes graphiques. Regardez la vidéo.
Les Apple Vision Pro sont les « yeux » des humanoïdes NVIDIA
Dans le communiqué de presse, les Apple Vision Pro sont mentionnés à deux reprises comme un outil pour contrôler les robots de NVIDIA en ce qui concerne le microsystème MimicGen NIM.
Il est apparu que NVIDIA utilise la technologie de réalité mixte de l’entreprise de Cupertino pour créer des données synthétiques afin d’entraîner des intelligences artificielles imitant des mouvements humains.
L’entraînement de modèles de base pour des robots humanoïdes nécessite une quantité incroyable de données. Une manière de capter des données de démonstration humaine est d’utiliser la téléopération, mais cela devient un processus de plus en plus coûteux et long.
Un flux de travail de référence de téléopération soutenu par NVIDIA AI et Omniverse, présenté lors de la conférence sur les graphismes SIGGRAPH, permet aux chercheurs et aux développeurs d’IA de générer de grandes quantités de données de mouvement et de perception synthétiques à partir d’un nombre minimal de démonstrations humaines captées à distance.
Tout d’abord, les développeurs utilisent les Apple Vision Pro pour capturer un petit nombre de démonstrations téléopérées. Ensuite, ils simulent les enregistrements dans NVIDIA Isaac Sim et utilisent le microsystème MimicGen NIM pour produire des ensembles de données synthétiques à partir des enregistrements.
Les développeurs entraînent le modèle de fondation humanoïde du Projet GR00T avec des données réelles et synthétiques, permettant de gagner du temps et de réduire les coûts. Ils utilisent ensuite le microsystème Robocasa NIM dans Isaac Lab, une plateforme pour l’apprentissage des robots, afin de générer des expériences pour réentraîner le modèle du robot.
Tout au long du flux de travail, le NVIDIA OSMO attribue efficacement des tâches de calcul à différentes ressources, économisant ainsi des semaines de travail administratif aux développeurs.
Nous pouvons lire dans le communiqué de l’entreprise.
L’entraînement de l’IA pour des robots humanoïdes fait partie de l’initiative « moonshot ». Le projet vise à construire un cerveau universel pour des robots ayant une structure similaire à celle des humains.