Acheter un dispositif de capture égocentrique pour l'IA incarnée : Le guide d'achat CameVision EGO

Les robots apprennent la manipulation des gens. La manière la plus claire d'enregistrer comment une personne gère une tâche est à partir des propres yeux et mains de la personne, avec chaque image et chaque échantillon de mouvement sur une seule horloge. C'est le travail d'un dispositif de capture égocentrique, et les données ne sont aussi bonnes que le matériel qui les enregistre.

Ce guide décrit ce qu'un acheteur doit vérifier, dans l'ordre qui compte, et montre où CameVision EGO répond à chaque point. Camemake conçoit et construit des modules de caméra dans nos propres lignes de production, avec assemblage en salle blanche, alignement optique, contrôle qualité et suivi des séries suivant les normes ISO9001. EGO est entièrement open source, donc chaque réponse ci-dessous renvoie au code ou au document où elle se trouve.

Deux dispositifs sont couverts :

• CameVision EGO (CV-EGO01-OS): deux caméras à obturation globale, deux IMU, NPU embarqué. Repo : github.com/Camemake/CameVision-Ego. Docs : camemake.github.io/CameVision-Ego.
• CameVision Ego Single Sensor (CV-EGO01-SS): une caméra à obturation globale, un IMU, même calcul. Repo : github.com/Camemake/CameVision-Ego-Single-Sensor. Docs : camemake.github.io/CameVision-Ego-Single-Sensor.

1. Obturateur global sur chaque caméra de géométrie

Les mains bougent vite. Un obturateur roulant lit l'image ligne par ligne, donc un doigt en mouvement ou une tête tournante se déforme dans l'image, et l'appariement stéréo et l'estimation de pose héritent de l'erreur. Toute caméra utilisée pour la géométrie doit être un véritable obturateur global, avec une exposition pour l'ensemble de l'image.

Les deux dispositifs EGO utilisent uniquement des capteurs à obturation globale. Le capteur est choisi au moment de la commande à partir d'un menu partagé par les deux cartes :

Chaque œil fonctionne sur son propre lien MIPI à 4 voies. Les cartes de capteur complètes sont sur le fiche technique EGO.

Sur le stéréo EGO, chaque capteur de magasin fonctionne à 60 fps ; c'est aussi le maximum de la carte stéréo. AR0235 et Kaimou GS2.3 peuvent atteindre 120 fps en tant que capteurs ; sur la carte stéréo, ils plafonnent toujours à 60 fps. Le capteur unique Ego utilise les mêmes six capteurs de magasin à 60 fps et cette carte peut dépasser 60 fps.

Kaimou GS2.3 est la nouvelle option. Kaimou le publie comme un capteur à obturateur global de 2,3 MP pour caméras robotiques : 1920 × 1200, pixel de 3,0 µm, 1/2,6 pouce, jusqu'à 120 fps, mono ou RGB, plage dynamique de 68,6 dB, 7300 e⁻ pleine capacité et 44,6 % QE à 850 nm, avec synchronisation de trame pour des configurations multi-caméras. Il arrive : échantillons T4 2026, production T2 2027. Chiffres complets : spécification GS2.3.

2. Champ de vision et lentille

Un acheteur devrait demander le champ de vision que les données livrent réellement après correction de distorsion, pas la diagonale imprimée sur la boîte. Demandez la longueur focale de la lentille en pixels et le chiffre de distorsion, puis calculez le champ corrigé vous-même.

EGO publie les données complètes de la lentille sur le page des optiques. L'objectif est un module M12 fixe, 2G4P + 1 IR, EFL 1,79 mm, F/2,0, avec une distorsion TV < −22,3 % et une distance minimale de l'objet de 0,20 m. Il n'y a pas d'autofocus, donc les intrinsics ne dérivent pas avec la mise au point. Le champ suit le capteur :

• SC233HGS : D 160°, H 144°, V 100° (f = 597 px)
• OG02C10 : D 160°, H 140°, V 112° (f = 519 px)
• MIRA220 : D 147,4°, H 118,6°, V 106,4° (f = 639 px)
• OX05B1S : f = 814 px
• Kaimou GS2.3 : même champ que SC233HGS, D 160°, H 144°, V 100° (f = 597 px)

L'objectif est équipé d'un filtre coupe-IR (50 % à 650 nm) et est scellé à IP69.

3. Base stéréo

La précision de profondeur à distance de la main dépend de la base et de la longueur focale en pixels. La base stéréo EGO est de 75,0 mm, CAM0 à gauche, CAM1 à droite. La page optique traite la géométrie pour une vue plongeante des mains : avec SC233HGS, la disparité est de 149 px à 0,30 m, 112 px à 0,40 m et 75 px à 0,60 m, et une main de 180 mm à 0,40 m couvre environ 269 px.

L'erreur de profondeur à la base de 75,0 mm pour un pixel de disparité est publiée sur la page optique :

Si votre espace de travail nécessite une paire plus large ou plus étroite, la base est une option standard dans notre programme de modules personnalisés.

4. Contrôle d'exposition

Une exposition courte maintient le mouvement rapide de la main net. Pour la stéréo, les deux yeux doivent également s'exposer de manière identique, sinon le comparateur voit deux images différentes. Un acheteur doit vérifier la plage d'exposition que le firmware permet, si la gauche et la droite partagent une exposition et un équilibre des blancs, et si l'exposition et le gain par image peuvent être récupérés.

Sur EGO, l'exposition et l'équilibre des blancs passent par rkaiq 3A sur les deux ISP. Les deux yeux partagent la même exposition et AWB, avec Slave HDR désactivé. La valeur par défaut de l'IQ est de 50 Hz anti-scintillement : les étapes d'exposition sont N × 10 ms à 50 Hz secteur et N × 8,333 ms à 60 Hz. La configuration se trouve dans les fichiers JSON IQ dans la superposition de version. Les sources et la chaîne de démarrage sont documentées sur la page logicielle. Comme la pile est ouverte, une équipe peut définir sa propre politique d'exposition et la vérifier directement sur l'appareil.

Le capteur unique Ego utilise le même chemin rkaiq et expose également AE et AWB via UVC. Sur cette carte, les étapes anti-scintillement s'associent à 25 fps à 50 Hz et 30 fps à 60 Hz (modes de ligne de puissance UVC 0/1/2).

5. IMU

Les pipelines visuels-inertiels ont besoin de données inertielle brutes à haute fréquence, mesurées dans le cadre de la caméra.

EGO place un IMU à côté de chaque caméra : deux pièces ST LSM6DSVQTR sur des bus SPI séparés, de sorte que chaque caméra ait sa propre référence inertielle avec un bras de levier court et connu. L'IMU est de 16 bits, ±2 à ±16 g et ±125 à ±4000 dps. Le taux de données de sortie est sélectionnable jusqu'à 7,68 kHz, et le HUD de démonstration fonctionne par défaut à 480 Hz. Les échantillons bruts d'accéléromètre et de gyroscope passent par le standard Linux IIO avec une interruption de données prêtes. Le capteur unique porte un IMU de la même pièce à 480 Hz. Les chiffres de bruit dans la fiche technique sont les valeurs typiques du fabricant de l'IMU (60 µg/√Hz et 2,8 mdps/√Hz), pas des mesures de carte, comme indiqué sur la page matérielle.

6. Synchronisation

Trois horloges doivent être synchronisées : caméra à caméra, caméra à IMU, et tête à poignet.

Caméra à caméra. EGO pilote les deux capteurs à partir des lignes RV1126B GPIO FSYNC et EFSYNC sous le contrôle direct du SoC, en mode déclenchement continu. Aucun alignement logiciel n'est impliqué. Le code de synchronisation est tools/ego_cam_sync.py; la carte des broches se trouve dans le repo README. Les capteurs du stéréo EGO fonctionnent à 60 fps, ce qui est également le maximum stéréo. Le paquet de démonstration déclenche à 12,5 fps ; le taux est défini dans l'open source.

Caméra à IMU. Chaque IMU est situé sur la même carte que la caméra qu'il décrit et est lu à travers le noyau avec son propre interrupt. Les enregistrements sur le capteur unique et via l'application écrivent des lignes IMU avec des horodatages Unix et monotoniques en nanosecondes.

Tête à poignet. La manipulation habile est généralement capturée avec une paire stéréo de tête plus une caméra de poignet ou d'outil. Le capteur unique Ego est conçu pour ce second rôle : mêmes capteurs, même calcul, même enregistreur, une caméra et un IMU dans un format plus petit. Pour des configurations multi-caméras fixes, la même plateforme CameVision est expédiée sous forme de cartes de 3, 5 et 9 caméras sur un domaine de déclenchement, décrite sur Camemake solutions robotiques.

Un acheteur doit mesurer le décalage sur les unités livrées : enregistrer une LED rapide ou un mouvement rapide sur toutes les caméras et comparer les horodatages des images.

7. Calibration

Les intrinsics, les extrinsèques stéréo et les extrinsèques caméra à IMU décident si les données sont utilisables. La calibration s'effectue sur la caméra elle-même dans EGO : la page en direct et l'interface de calibration sont servies par tools/ego_stereo.py avec le correspondancier natif dans stereo_native.c. Un acheteur doit vérifier l'erreur de reprojection sur chaque unité et garder la calibration liée au numéro de série de l'unité.

8. Enregistrement, stockage et propriété des données

Les données capturées doivent rester avec l'équipe qui les enregistre. EGO et le Capteur Unique enregistrent localement : 16 Go eMMC plus un emplacement microSD, 1 Go de RAM, sur un SoC RV1126B avec double ISP et NPU. L'alimentation provient de USB-C ou de pads de batterie.

Le contrôle se fait depuis un téléphone via le CameVision App via Bluetooth, en deux modes :

• Autonome: démarrer et arrêter les enregistrements en pleine résolution sur la carte microSD, puis les copier sur le téléphone.
• Serveur: la caméra télécharge également via son propre Wi-Fi 6 vers un serveur que vous gérez, avec la carte comme tampon si le réseau tombe.

Le Capteur Unique s'énumère également comme une caméra UVC standard avec la carte montée comme un lecteur, donc tout hôte peut le lire sans Wi-Fi.

9. Format des données

Les sessions EGO stéréo écrivent des fichiers de timestamp par œil cam_left.timestamps.jsonl et cam_right.timestamps.jsonl. Les temps d'échantillonnage de l'image et de l'IMU utilisent CLOCK_MONOTONIC_ns ; le JSON de l'IMU contient également CLOCK_REALTIME et une chaîne ISO, avec le RV-3028 réglant l'horloge système.

Avec le Capteur Unique et l'application CameVision, chaque session est un dossier sur la carte :

```

camevision/sessions/<YYYYMMDDTHHMMSSZ>/

session.json

imu0.csv

cam0/video.mp4

COMPLET

```

La vidéo est en pleine résolution H.264. imu0.csv contient t_unix_ns, t_mono_ns, ax, ay, az, gx, gy, gz, accel en m/s² et gyro en deg/s. Le marqueur COMPLET indique à votre pipeline que la session s'est terminée proprement. Le contrat de téléchargement est une API HTTP simple à trois appels, documentée dans le dépôt de l'application. Documentation du Capteur Unique : camemake.github.io/CameVision-Ego-Single-Sensor.

10. Contrôles d'acceptation à la livraison

Exécutez ces vérifications sur chaque unité avant qu'elle ne soit intégrée dans un programme de capture :

1. Confirmez le capteur et la résolution par rapport à la commande sur la page en direct.
2. Faites tourner l'appareil rapidement devant un bord droit. Les bords doivent rester droits dans les deux yeux.
3. Mesurez le décalage entre les caméras avec une LED rapide ou un mouvement brusque.
4. Enregistrez un appareil immobile pendant dix minutes et vérifiez le taux IMU, les écarts et le biais.
5. Calibrez, puis vérifiez l'erreur de reprojection et la profondeur sur une cible connue à 0,30, 0,40 et 0,60 m.
6. Enregistrez une session complète sur carte, passez-la par l'application et vérifiez la continuité du marqueur et de l'horodatage COMPLETS.

Tout ce qui est nécessaire pour ces vérifications se trouve dans les dépôts ouverts. Les pilotes de carte pour les modules Camemake de la même famille SoC se trouvent dans ROCKCHIP_MIPI_CAMERAS.

11. Niveaux d'exigence

De l'évaluation à la production en série

EGO est la carte d'évaluation d'une plateforme que nous produisons en série. La même carte est expédiée sous votre marque, dans votre boîtier, avec votre base et votre capteur. Commandez des unités d'évaluation du stéréo EGO ou le Capteur Unique EGO, ou commencez un programme ODM ou OEM sur solutions robotiques Camemake.

---