Pixel binning: astuce intelligente pour des appareils photo de smartphone plus polyvalents

Pixel binning: astuce intelligente pour des appareils photo de smartphone plus polyvalents

L’engouement pour les mégapixels semblait avoir éclaté récemment chez les fabricants de smartphones. Avec 64 mégapixels, un smartphone de la classe moyenne inférieure à lui seul, comme le Motorola Moto G30, a une résolution. Le haut comme Samsung dans le Galaxy S21 Ultra ou Xiaomi dans le Mi 11 annonce un ensemble de 108 mégapixels. Le fichier fini sera toujours une image beaucoup plus petite avec seulement 12 ou 16 MP. Ceci est rendu possible par une technique appelée pixel binning.

108 mégapixels deviennent 12, 64 deviennent 16

Le regroupement de pixels calcule plusieurs pixels voisins en un seul. Motorola transforme 64 mégapixels en 16 dans le Moto G30 (ici notre rapport de test) en convertissant 4 pixels en un seul. Samsung fusionne même 9 pixels en 1 dans un appareil photo de 108 MP. Le résultat est une image de 12 mégapixels.

Et ici, l’un ou l’autre est prude: de nombreux capteurs d’appareils photo dans les smartphones n’utilisent de toute façon que 12 mégapixels, même sans binning de pixels. Il s’agit notamment du Galaxy S21, la petite sœur du S21 Ultra, mais aussi d’Apple dans la série iPhone 12. Les pixels individuels de ces appareils sont généralement plus grands. Alors quoi de mieux? Beaucoup de petits mégapixels ou quelques grands?

De nombreux pixels dans le plus petit des espaces

La réponse est: cela dépend. Le boom des mégapixels pose des problèmes sur les smartphones: comme les capteurs sont petits par rapport aux appareils photo reflex et système à objectif unique et ne peuvent pas devenir beaucoup plus gros en raison de problèmes d’espace, les ingénieurs insèrent de plus en plus de pixels dans le plus petit des espaces.

La netteté et plus de détails en sont les arguments. Aussi un meilleur zoom numérique. Plus de pixels permettent plus de détails, même pour les sujets éloignés, que vous pouvez ensuite agrandir sans perte (massive) de qualité.

Pendant la journée, en plein soleil, cela fonctionne: Plus de mégapixels = plus de détails et de meilleurs zooms. Certains fabricants évitent même le binning des pixels dans de bonnes conditions d’éclairage et brûlent les 64 ou 108 mégapixels sur l’image.

Pixel binning astuce intelligente pour des appareils photo de smartphone

Dans presque tous les smartphones: le capteur photo. (Photo: WikiCommons / Philo naturel)

De nombreux mégapixels deviennent un problème par visibilité brumeuse, nuages ​​nuageux, crépuscule ou la nuit. Au fur et à mesure que la taille des pixels diminue, chaque pixel absorbe moins de lumière et est plus sensible au bruit. Les artefacts disgracieux et le contraste médiocre apparaissent par paires.

En principe du moins, parce que le binning des pixels est censé contrecarrer cela. En combinant différentes photodiodes et pixels, la sensibilité à la lumière et aux couleurs devrait à nouveau augmenter.

Aucune idée? Demandez aux voisins!

L’idée: des pixels plus petits, là où il n’y en aurait autrement qu’un seul grand, peuvent fournir des informations plus fiables et ainsi compenser l’inconvénient des pixels trop petits.

Les pixels peuvent être de différentes tailles.  Les pixels plus grands sont généralement considérés comme meilleurs car ils peuvent contenir plus de lumière.  Un grand nombre de petits pixels "intelligents" combinés sont censés compenser cet inconvénient.

Les pixels peuvent être de différentes tailles. Les pixels plus grands sont généralement considérés comme meilleurs car ils peuvent contenir plus de lumière. Avec le binning de pixels, de nombreux petits pixels «intelligents» sont censés compenser cet inconvénient.

Il existe essentiellement deux méthodes pour combiner les informations d’image. À un Binning basé sur des capteurs, qui ajoute des carrés de 2 × 2 ou 3 × 3 pixels. D’un autre côté que binning numérique, qui utilise des informations supplémentaires du voisinage pour chaque pixel.

Le processus n’est pas nouveau jusqu’à présent – il a été décrit pour la première fois en 1993. En pratique, les légendaires smartphones Nokia de la famille Lumia ont brillé avec un binning efficace des pixels au début des années 2010. Et des images et des vidéos à contraste élevé garantis dans les conditions d’éclairage les plus défavorables – même si celles-ci ne peuvent pas être disponibles en RAW, car le smartphone intervient déjà fortement dans le calcul de la photo. Un inconvénient de la technologie.

La «magie» derrière la technologie des anciens smartphones Nokia est facile à expliquer. Déclenchement enfoncé, décalage des pixels – réduction du bruit de l’image. Peu importe que cela soit fait directement sur le capteur ou dans le résumé des pixels numériques par la suite. Après cela, le binning de pixels a de nouveau disparu pour de nombreuses générations de smartphones.

Quoi de neuf? Binning adaptatif des pixels

Le regain d’importance de l’allocation de pixels n’est cependant pas une surprise. Les ingénieurs hardware et software ont travaillé sur des optimisations pendant des années. Si nous parlons de cette technologie aujourd’hui, c’est Binning adaptatif des pixels censé.

La condition préalable à l’intégration était des smartphones plus puissants. Parce que le matériel et les logiciels rassemblent depuis longtemps les informations et en calculent une moyenne. C’est plus complexe.

Vous sortez votre smartphone dans des conditions de luminosité défavorables. Pendant que vous regardez toujours l’aperçu, l’application photo analyse en temps réel si vous devez utiliser le regroupement de pixels. S’il décide de le faire et que vous appuyez sur la gâchette, une chaîne de processus est mise en mouvement.

Tout d’abord, le logiciel duplique la photo quatre fois. le première L’image convertit un algorithme de l’image couleur en une version en niveaux de gris (indiquée dans le cadre rouge ci-dessus). Celui-ci ne contient que les informations de luminosité. Ils sont essentiels pour la netteté de l’image perçue subjectivement. La séparation des informations de luminosité et des informations de couleur n’est pas uniquement utilisée par le regroupement des pixels.

Le sous-échantillonnage des couleurs, dont nous vous rapprochons dans cet article de blog tendance, en profite également et est utilisé à la fin du processus de binning.

le deuxième L’image (ci-dessus dans le cadre vert) de votre photo permet de trier les pixels voisins en grilles 2 × 2 ou 3 × 3. Le nombre de pixels regroupés est un compromis entre la qualité générale de l’image et la luminosité d’une part et la résolution inférieure d’autre part.

Combiner, trier et rendre

Un exemple: le Galaxy S20 Ultra de Samsung et le Xiaomi Mi Note 10 Pro partagent le même capteur d’appareil photo de 108 MP. Le Xiaomi utilise le binning 2 × 2 et atteint effectivement 27 mégapixels. Le modèle Samsung utilise des grilles 3 × 3 et atterrit à 12 MP.

Des processeurs spéciaux pour l’apprentissage automatique déterminent les pixels colorés à combiner et les trient à nouveau. Cela met ces informations en contexte et enregistre l’image intermédiaire.

La photo se duplique Trois et quatre atterrissez dans une troisième étape, qui est surlignée en bleu dans le diagramme ci-dessus. Au lieu des valeurs de luminosité et des informations de couleur, le téléphone filtre l’intensité du bruit des pixels individuels et des blocs entiers et les réduit.

Dans une dernière étape, l’algorithme mélange les quatre doublons les uns sur les autres et restitue l’image finale. Le résultat devrait idéalement être un fichier détaillé à faible bruit.

Comment le regroupement des pixels affecte la qualité de la photo

Selon la façon dont les étapes individuelles sont calculées, les photos sont différentes:

1617204430 463 Pixel binning astuce intelligente pour des appareils photo de smartphone

(Image: Yoo, Im, Paik, 2015; sous CC BY 4.0)

Dans un article publié en 2015, des experts informatiques montrent à quel point le binning des pixels peut influencer les résultats. En haut à gauche, vous pouvez voir la photo de référence (ISO 3200, EV +1).

Au-dessus du centre se trouve la photo sous-exposée (ISO 800, EV -1), qui atteint initialement le capteur du smartphone. Le binning ordinaire de pixels avec un résumé 2 × 2 produit le résultat en haut à droite. C’est plus calme, mais moins résolu.

La photo en bas à gauche complète la photo et un autre algorithme qui augmente le nombre de pixels. En bas, au centre, le binning numérique sans résumé carré.

Enfin, en bas à droite se trouve le binning adaptatif complet des pixels. Les contrastes sont bons, les couleurs riches, la netteté de l’image élevée.

Smartphones avec ou sans pixel binning: quel est le meilleur?

Samsung, Apple, Oppo et Huawei aiment présenter des clichés nocturnes brillants de leurs nouveaux produits phares de smartphones. Dans la vie de tous les jours, ces modèles haut de gamme fournissent des photos décentes dans la plupart des situations problématiques – de différentes manières.

Un mode nuit est utilisé dans presque tous les smartphones modernes avec ou sans binning de pixels aujourd’hui. Il est basé sur le HDR et génère généralement un grand nombre d’images individuelles d’un motif en quelques instants, que des algorithmes intelligents ajoutent ensuite à l’aide de l’intelligence artificielle. Le résultat est souvent une image presque aussi lumineuse que le jour avec seulement quelques zones sombres.

1617204430 384 Pixel binning astuce intelligente pour des appareils photo de smartphone

L’Apple iPhone 12 Pro Max fonctionne sans binning de pixels. (Photo: Apple)

Mais qu’est-ce qui fonctionne mieux maintenant? Systèmes de caméra avec binning de pixels qui combinent des images 108 MP en images 12 MP ou des systèmes 12 MP sans binning de pixels?

Mon collègue Jürgen Vielmeier a fait concurrencer le Samsung Galaxy S21 Ultra 5G contre l’iPhone 12 Pro Max, qui n’utilise pas le pixel binning. Si les deux smartphones étaient à peu près les mêmes en termes de qualité d’image pendant la journée, les images du S21 Ultra ne font plus beaucoup de bruit.

Samsung Galaxy S21 Ultra 5G vs iPhone 12 Pro1614718086 253 Samsung Galaxy S21 Ultra 5G vs iPhone 12 Pro
A gauche le Samsung Galaxy S21 Ultra 5G, à droite l’Apple iPhone 12 Pro Max. Les deux modèles haut de gamme utilisent des techniques différentes pour prendre des photos de nuit lumineuses. Avec des résultats différents. (Photos: Jürgen Vielmeier)

Moins est plus? Parfois oui

Les artefacts disgracieux étaient particulièrement évidents sur les bords du S21 Ultra, à la fois pour les images avec et sans mode nuit HDR. Parce que beaucoup dépend de l’intelligence artificielle en mode nuit, il n’est pas possible de clarifier exactement quel est le déclencheur de la qualité d’image différente. Cependant, comme le capteur «normal» d’Apple fait également moins de bruit lors de la prise de photos sans vision nocturne, nous devons déclarer que cette ronde est dirigée vers la caméra. sans pour autant Le binning adaptatif des pixels est possible.

avantages par Pixel Binning désavantage par Pixel Binning
Crée des pixels virtuels plus grands Ne prend pas en charge RAW
Impression générale plus harmonieuse Les images de nuit font plus de bruit
Des résolutions plus élevées possibles pendant la journée Les images de nuit sont un peu plus sombres
Zoom numérique possible

En mauvais termes: si les pixels sont trop petits pour déterminer des informations fiables sur la couleur et la luminosité, cela n’aide pas beaucoup si vous demandez à vos voisins, qui ne savent pas mieux non plus. Le résultat n’est alors que plus d’incertitude.

Alors, est-ce le chant du cygne pour Adaptive Pixel Binning?

Le binning des pixels peut encore être amélioré

La réponse claire: non. La technologie est déjà rentabilisée dans de bonnes conditions d’éclairage et au crépuscule. La nuit, les résultats peuvent encore être améliorés. Cependant, le binning adaptatif des pixels ne s’est pas encore complètement développé dans les appareils photo des smartphones. De meilleurs algorithmes, des objectifs plus puissants, des capteurs et des pixels plus grands – ce sont toutes des vis de réglage dont les fabricants doivent disposer pour améliorer encore la technologie à l’avenir.

Soit dit en passant, pixel binning ou pas: mon collègue Kay Nordenbrock explique dans un autre article ce qui fait d’autre un bon appareil photo pour smartphone.

(Histoire principale: Pexels.com / William Fortunato)