Regardez l’API Apple RoomPlan vider une pièce de meubles, prête pour les achats en réalité augmentée

Regardez l'API Apple RoomPlan vider une pièce de meubles, prête pour les achats en réalité augmentée

Les achats en réalité augmentée sont sur le point de passer au niveau supérieur, grâce à une nouvelle fonctionnalité introduite dans iOS 16. La nouvelle API Apple RoomPlan utilise le scanner LiDAR dans les modèles récents d’iPhone Pro pour créer un plan de pièce en 3D – et une nouvelle démo impressionnante montre exactement ce dont elle est capable de.

Shopify a créé une preuve de concept qui scanne une pièce et vous permet ensuite de la vider virtuellement, prêt à voir à quoi ressembleraient de nouveaux meubles dans l’espace. Alternativement, vous pouvez supprimer des éléments spécifiques, comme un canapé, puis en insérer de nouveaux dans l’espace…

Si cela vous semble familier, c’est parce qu’Ikea ​​a déjà fait la même chose sous une forme plus brute, mais nous avons noté à l’époque que RoomPlan était susceptible de laisser les entreprises de meubles créer des applications plus sophistiquées.

Shopify Russ Maschmeyer dit qu’il y a eu beaucoup d’intérêt pour la capacité. Il se réfère à la fonctionnalité comme un bouton de réinitialisation pour une pièce et explique ce qu’elle peut faire.

La réalité augmentée facilite l’essai de nouveaux canapés, mais le canapé déjà dans votre espace peut vous gêner. Et si chaque pièce avait un bouton de réinitialisation ? Space Eraser modélise les espaces en haute fidélité, en capturant les objets définissant la pièce, leur taille, leur position, leur orientation.

Les données de pixels en direct se combinent avec les données de profondeur LiDAR pour permettre un jumeau numérique réaliste de votre pièce qui peut être superposé sur votre espace réel à l’aide de la réalité augmentée, puis édité numériquement.

Avec une pièce vide, les acheteurs peuvent désormais parcourir des ensembles de pièces qui tirent parti de l’orientation des meubles existants pour s’organiser automatiquement.

Avec un jumeau numérique de votre chambre et de vos meubles, vous pouvez simplement balayer votre canapé d’origine pour explorer des options qui correspondent mieux au reste de la pièce.

Ici vous pouvez voir le processus de réinitialisation :

Et ici, en supprimant des éléments individuels de la pièce :

Maschmeyer explique comment ils l’ont créé et certains des défis auxquels ils ont été confrontés.

RoomPlan génère un modèle USDZ non texturé composé de cubes unitaires ; un pour chaque porte, fenêtre, mur et objet définissant la pièce, mais surprise ! Les modèles ne contiennent pas d’éléments de sol ou de plafond. Nous alignons le modèle avec le monde réel en utilisant ARWorldMap.

Étant donné que RoomPlan exporte des modèles non texturés, nous avons exploré les moyens de les texturer automatiquement. La meilleure façon serait de localiser et de mapper la texture lors de la capture, mais nous nous contentons d’un modèle aligné et d’un flux de caméra en temps réel.

Nous avons inversé le pipeline graphique : au lieu d’échantillonner à partir d’une texture et d’écrire sur l’écran, nous échantillonnons à partir de la caméra et écrivons sur une texture. RealityKit a rendu cela difficile, nous avons donc utilisé SceneKit à la place.

Cette approche crée des problèmes lorsque les meubles obscurcissent une surface. En vidéo ci-dessus notre canapé occultait le mur. RoomPlan fournit des références de boîte englobante pour les objets définissant la pièce. Avec cela, nous pouvons déterminer quelles parties de la texture doivent être expurgées.

Nous pouvons maintenant utiliser des techniques d’inpainting pour remplir la texture expurgée. Nous avons été agréablement surpris par les résultats produits par des outils prêts à l’emploi comme Photoshop et theinpaint.com.

AR et #RoomPlan sont des outils passionnants pour le commerce. La possibilité de sélectionner et de supprimer des objets réels d’une scène nous rapproche d’une réalité entièrement modifiable.

Je suis un grand fan du shopping en réalité augmentée, qui donne une bonne idée de ce à quoi ressemblerait quelque chose dans votre maison sans rien d’aussi barbare que de visiter un magasin en personne. Qu’est-ce que tu penses? S’il vous plaît partager vos pensées sur nos réseaux sociaux.


Découvrez cette vidéo ci-dessous (en anglais) pour plus d’actualités Apple :