Raspberry Pi AI Camera

Intégrez facilement des capacités d’intelligence artificielle sur vos projets Raspberry Pi !

Grâce au capteur Sony IMX500, un capteur révolutionnaire qui redéfinit les standards de la capture d'image dans le monde des caméras modernes !

L'annonce de la caméra AI pour Raspberry Pi a eu lieu lors de l'événement Embedded World, une conférence majeure dédiée aux technologies embarquées. Cette annonce a attiré l’attention des développeurs et ingénieurs pour ses capacités avancées de traitement embarqué.

Le capteur IMX500 de Sony est le premier du genre à intégrer un processeur d’intelligence artificielle qui analyse en temps réel les images sans avoir recours à un processeur externe ou à un service en ligne.

Comment est strucuté le capteur Sony IMX500 ?

L'IMX500 est structuré avec un capteur empilé combinant un capteur d'image avec un DSP puissant et une SRAM intégrée dédiée. Vous bénéficiez donc d'un traitement d'IA de pointe à grande vitesse sans un aller-retour vers un serveur.

D’après Sony, placer la couche dédiée à l’IA et la mémoire dédiée juste en-dessous de la couche de pixels présente de multiples avantages. Ils doivent être capables de traiter les données du capteur et d’effectuer l’analyse « en interne » par l’IA quasi-instantanément. Sony avance ainsi le chiffre de 3,1 millisecondes pour la reconnaissance d’objets.

Avec sa résolution de 12,3 mégapixels, ce capteur de 7,857 mm (type 1/2,3) s'impose comme une référence grâce à ses pixels de 1,55 µm × 1,55 µm, optimisés pour une capture d'image détaillée et nette.

Côté performance, le Sony IMX500 offre une résolution impressionnante de 4056 x 3040 pixels, parfaite pour les applications où chaque détail compte. Il intègre un filtre IR pour une gestion optimale de la lumière, et propose une mise au point manuelle ajustable, permettant une flexibilité remarquable avec une plage de mise au point de 20 cm à l'infini. Sa longueur focale de 4,74 mm et ses champs de vision horizontal (66 ± 3 degrés) et vertical (52,3 ± 3 degrés) assurent une couverture d'image équilibrée et immersive.

Avec une ouverture à F1,79, ce capteur promet une excellente performance en faible luminosité, tout en minimisant le bruit pour des images claires et lumineuses. Bien que non sensible aux infrarouges, le Sony IMX500 brille par sa capacité à produire des images de haute qualité via des sorties en Bayer RAW10 et des formats YUV/RGB, en offrant également des métadonnées riches et un support complet des régions d'intérêt (ROI).

Ce capteur excelle aussi en traitement grâce à sa capacité à gérer des tenseurs d'entrée jusqu'à 640 x 640 pixels avec des types de données 'int8' ou 'uint8'. Il embarque 83 884 880 octets de mémoire, dédiés au traitement du firmware, aux poids des réseaux et à la gestion de la mémoire de travail, garantissant ainsi des performances fluides.

Côté vidéo, le Sony IMX500 propose une capture à 30 images par seconde en mode 2×2 binned (2028×1520 pixels, 10 bits) et 10 fps en pleine résolution (4056×3040 pixels, 10 bits), ce qui en fait un choix parfait pour des applications nécessitant à la fois vitesse et détail.

Le capteur est compact avec des dimensions de 25 × 24 × 11,9 mm, et sa connectique est facilitée grâce à un câble ruban de 200 mm, compatible avec des connecteurs de 15 x 1 mm FPC ou 22 x 0,5 mm FPC. Pour couronner le tout, il est conçu pour fonctionner dans une plage de températures allant de 0 °C à 50 °C, le rendant idéal pour une variété d'environnements.

Le Sony IMX500 n'est pas seulement un capteur : c'est une solution de capture d'image innovante et performante qui saura satisfaire les professionnels les plus exigeants.

Quels sont les avantages en utilisation ?

Comme indiqué précédemment, tous les calculs sont effectués en local, sans devoir transiter par un service externe. Par conséquent, cette architecture offre un gain de réactivité et de performances.

La caméra permet un traitement embarqué avancé, compatible avec de nombreux modèles de réseaux neuronaux. Cette fonctionnalité optimise les performances en déchargeant le processeur principal du Raspberry Pi, le rendant ainsi disponible pour d'autres tâches.

Cela a également un impact sur la consommation en bande passante et en énergie. Plutôt que d'envoyer l'image complète, l'appareil transmet uniquement ses métadonnées, ce qui représente un envoi de seulement quelques octets au lieu de plusieurs mégaoctets.

Quels domaines d’application pour l' IMX500 ?

La caméra AI se révèle particulièrement idéale dans l'analyse en temps réel des flux de personnes et de biens. Dans l'industrie, nombreux sont ceux qui utilisent l'IA pour détecter les anomalies sur des lignes de production. 

Ressources utiles

Configuration et tests de l'AI Camera

Présentation de l'AI Camera

Vidéo AI Camera en action, avec la détection d'objets en temps réel