Comprar un Dispositivo de Captura Egocéntrico para IA Incorporada: La Guía del Comprador de CameVision EGO
Los robots aprenden manipulación de las personas. La forma más limpia de grabar cómo una persona maneja una tarea es desde los propios ojos y manos de la persona, con cada fotograma y cada muestra de movimiento en un solo reloj. Ese es el trabajo de un dispositivo de captura egocéntrico, y los datos son tan buenos como el hardware que los graba.
Esta guía establece qué debe verificar un comprador, en el orden que importa, y muestra dónde CameVision EGO responde a cada punto. Camemake diseña y construye módulos de cámara en nuestras propias líneas de producción, con ensamblaje en sala limpia, alineación óptica, control de calidad y seguimiento serial siguiendo los estándares ISO9001. EGO es completamente de código abierto, por lo que cada respuesta a continuación enlaza con el código o documento donde reside.
Se cubren dos dispositivos:
- CameVision EGO (CV-EGO01-OS): dos cámaras de obturador global, dos IMUs, NPU a bordo. Repo: github.com/Camemake/CameVision-Ego. Docs: camemake.github.io/CameVision-Ego.
- CameVision Ego Sensor Único (CV-EGO01-SS): una cámara de obturador global, un IMU, mismo procesamiento. Repo: github.com/Camemake/CameVision-Ego-Single-Sensor. Docs: camemake.github.io/CameVision-Ego-Single-Sensor.
1. Obturador global en cada cámara de geometría
Las manos se mueven rápido. Un obturador rodante lee el fotograma línea por línea, por lo que un dedo en movimiento o una cabeza girando se cortan en la imagen, y la coincidencia estéreo y la estimación de pose heredan el error. Cualquier cámara utilizada para geometría debe ser un verdadero obturador global, con una exposición para todo el fotograma.
Ambos dispositivos EGO utilizan solo sensores de obturador global. El sensor se elige en el momento del pedido de un menú compartido por ambas placas:
| Sensor | Resolución | Notas |
|---|---|---|
| SC233HGS | 1920 × 1200 | Color, global |
| OG02C10 | 1600 × 1200 | Color, global |
| MIRA220 | 1600 × 1400 | BSI, global |
| AR0235 | 1920 × 1200 | Color o mono, global, 120 fps |
| OX05B1S | 2592 × 1944 | 5 MP, global |
| Kaimou GS2.3 | 1920 × 1200 | Mono o RGB, global, 120 fps |
Cada ojo funciona en su propio enlace MIPI de 4 carriles. Las tarjetas de sensor completas están en el hoja de datos de EGO.
En el EGO estéreo, cada sensor de tienda funciona a 60 fps; ese también es el máximo de la placa estéreo. AR0235 y Kaimou GS2.3 pueden alcanzar 120 fps como sensores; en la placa estéreo aún se limitan a 60 fps. El Sensor Único Ego utiliza los mismos seis sensores de tienda a 60 fps y esta placa puede superar los 60 fps.
Kaimou GS2.3 es la opción más nueva. Kaimou lo publica como un sensor de obturador global de 2.3 MP para cámaras robóticas: 1920 × 1200, píxel de 3.0 µm, 1/2.6 pulgadas, hasta 120 fps, mono o RGB, rango dinámico de 68.6 dB, 7300 e⁻ de pozo completo y 44.6% QE a 850 nm, con sincronización de fotogramas para configuraciones de múltiples cámaras. Está en camino: muestras Q4 2026, producción Q2 2027. Cifras completas: especificación GS2.3.
2. Campo de visión y lente
Un comprador debe preguntar por el campo de visión que los datos realmente entregan después de la corrección de distorsión, no la diagonal impresa en la caja. Pregunte por la longitud focal de la lente en píxeles y la cifra de distorsión, luego calcule el campo corregido usted mismo.
EGO publica todos los datos de la lente en la página de ópticas. La lente es un módulo M12 fijo, 2G4P + 1 IR, EFL 1.79 mm, F/2.0, con distorsión de TV < −22.3 % y una distancia mínima al objeto de 0.20 m. No hay enfoque automático, por lo que los intrínsecos no se desvían con el enfoque. El campo sigue al sensor:
- SC233HGS: D 160°, H 144°, V 100° (f = 597 px)
- OG02C10: D 160°, H 140°, V 112° (f = 519 px)
- MIRA220: D 147.4°, H 118.6°, V 106.4° (f = 639 px)
- OX05B1S: f = 814 px
- Kaimou GS2.3: mismo campo que SC233HGS, D 160°, H 144°, V 100° (f = 597 px)
La lente lleva un filtro de corte IR (50% a 650 nm) y está sellada a IP69.
3. Línea base estéreo
La precisión de profundidad a la distancia de la mano depende de la línea base y la longitud focal en píxeles. La línea base estéreo EGO es de 75.0 mm, CAM0 izquierda, CAM1 derecha. La página de ópticas trabaja la geometría para una vista desde arriba de las manos: con SC233HGS, la disparidad es de 149 px a 0.30 m, 112 px a 0.40 m y 75 px a 0.60 m, y una mano de 180 mm a 0.40 m abarca aproximadamente 269 px.
El error de profundidad en la línea base de 75.0 mm para un píxel de disparidad se publica en la página de ópticas:
| Rango | SC233HGS / GS2.3 | MIRA220 / AR0235 | OG02C10 | OX05B1S |
|---|---|---|---|---|
| 0.30 m | 2.0 mm | 1.9 mm | 2.3 mm | 1.5 mm |
| 0.40 m | 3.6 mm | 3.3 mm | 4.1 mm | 2.6 mm |
| 0.60 m | 8.0 mm | 7.5 mm | 9.2 mm | 5.9 mm |
Si su espacio de trabajo necesita un par más ancho o más estrecho, la línea base es una opción estándar en nuestro programa de módulos personalizados.
4. Control de exposición
Una exposición corta mantiene el movimiento rápido de la mano nítido. Para estéreo, ambos ojos también deben exponer de manera idéntica, o el emparejador verá dos imágenes diferentes. Un comprador debe verificar el rango de exposición que permite el firmware, si la izquierda y la derecha comparten una exposición y balance de blancos, y si la exposición y ganancia por cuadro se pueden leer.
En EGO, la exposición y el balance de blancos pasan por rkaiq 3A en ambos ISP. Ambos ojos comparten la misma exposición y AWB, con Slave HDR apagado. El valor predeterminado de IQ es 50 Hz anti-parpadeo: los pasos de exposición son N × 10 ms a 50 Hz de corriente y N × 8.333 ms a 60 Hz. La configuración se encuentra en los archivos JSON de IQ en la superposición de lanzamiento. Las fuentes y la cadena de arranque están documentadas en la página de software. Debido a que la pila es abierta, un equipo puede establecer su propia política de exposición y verificarla directamente en el dispositivo.
El Sensor Único Ego utiliza el mismo camino rkaiq y también expone AE y AWB a través de UVC. En esa placa, los pasos anti-parpadeo se emparejan con 25 fps a 50 Hz y 30 fps a 60 Hz (modos de línea de alimentación UVC 0/1/2).
5. IMU
Las tuberías visual-inerciales necesitan datos inerciales crudos y de alta tasa, medidos en el propio marco de la cámara.
EGO coloca un IMU al lado de cada cámara: dos partes ST LSM6DSVQTR en buses SPI separados, por lo que cada cámara tiene su propia referencia inercial con un brazo de palanca corto y conocido. El IMU es de 16 bits, ±2 a ±16 g y ±125 a ±4000 dps. La tasa de datos de salida es seleccionable hasta 7.68 kHz, y el HUD de demostración funciona a 480 Hz por defecto. Las muestras crudas de acelerómetro y giroscopio llegan a través del IIO estándar de Linux con una interrupción de datos listos. El Sensor Único lleva un IMU de la misma parte a 480 Hz. Las cifras de ruido en la hoja de datos son los valores típicos del fabricante del IMU (60 µg/√Hz y 2.8 mdps/√Hz), no mediciones de la placa, como se indica en la página de hardware.
6. Sincronización
Tres relojes deben estar de acuerdo: cámara a cámara, cámara a IMU, y cabeza a muñeca.
Cámara a cámara. EGO controla ambos sensores desde las líneas RV1126B GPIO FSYNC y EFSYNC bajo control directo de SoC, en modo de disparo continuo. No se involucra alineación de software. El código de sincronización es tools/ego_cam_sync.py; el mapa de pines está en el repo README. Los sensores de la EGO estéreo funcionan a 60 fps, que también es el máximo estéreo. El paquete de demostración se activa a 12.5 fps; la tasa se establece en el código abierto.
Cámara a IMU. Cada IMU se encuentra en la misma placa que la cámara que describe y se lee a través del kernel con su propia interrupción. Las grabaciones en el Sensor Único y a través de la aplicación escriben filas de IMU con marcas de tiempo tanto de Unix como de nanosegundos monotónicos.
Cabeza a muñeca. La manipulación diestro generalmente se captura con un par estéreo de cabeza más una cámara de muñeca o herramienta. El Sensor Único Ego está diseñado para ese segundo rol: mismos sensores, misma computación, mismo grabador, una cámara y un IMU en un espacio más pequeño. Para configuraciones fijas de múltiples cámaras, la misma plataforma CameVision se envía como placas de 3, 5 y 9 cámaras en un dominio de disparo, descrito en Camemake soluciones robóticas.
Un comprador debe medir la inclinación en las unidades entregadas: grabar un LED rápido o un movimiento rápido en todas las cámaras y comparar las marcas de tiempo de los fotogramas.
7. Calibración
Las intrínsecas, extrínsecas estéreo y extrínsecas de cámara a IMU deciden si los datos son utilizables. La calibración se ejecuta en la cámara misma en EGO: la página en vivo y la interfaz de calibración son servidas por tools/ego_stereo.py con el emparejador nativo en stereo_native.c. Un comprador debe verificar el error de reproyección en cada unidad y mantener la calibración vinculada al número de serie de la unidad.
8. Grabación, almacenamiento y propiedad de datos
Los datos capturados deben permanecer con el equipo que los graba. EGO y el Sensor Único graban localmente: 16 GB eMMC más una ranura para microSD, 1 GB de RAM, en un SoC RV1126B con ISP dual y NPU. La energía proviene de USB-C o almohadillas de batería.
El control se realiza desde un teléfono a través de la Aplicación CameVision a través de Bluetooth, en dos modos:
- Independiente: iniciar y detener grabaciones a resolución completa en la tarjeta microSD, luego copiarlas al teléfono.
- Servidor: la cámara también sube a través de su propio Wi-Fi 6 a un servidor que tú administres, con la tarjeta como búfer si la red se cae.
El Sensor Único también se enumera como una cámara UVC estándar con la tarjeta montada como una unidad, por lo que cualquier host puede leerla sin Wi-Fi.
9. Formato de datos
Las sesiones estéreo de EGO escriben archivos de marca de tiempo por ojo cam_left.timestamps.jsonl y cam_right.timestamps.jsonl. Los tiempos de muestra de cuadro e IMU utilizan CLOCK_MONOTONIC_ns; el JSON de IMU también lleva CLOCK_REALTIME y una cadena ISO, con el RV-3028 configurando el reloj del sistema.
Con el Sensor Único y la Aplicación CameVision, cada sesión es una carpeta en la tarjeta:
```
camevision/sessions/<YYYYMMDDTHHMMSSZ>/
session.json
imu0.csv
cam0/video.mp4
COMPLETE
```
El video es de resolución completa H.264. imu0.csv contiene t_unix_ns, t_mono_ns, ax, ay, az, gx, gy, gz, aceleración en m/s² y giroscopio en deg/s. El marcador COMPLETE indica a tu canal que la sesión se cerró correctamente. El contrato de carga es una API HTTP de tres llamadas, documentada en el repositorio de la aplicación. Documentos del Sensor Único: camemake.github.io/CameVision-Ego-Single-Sensor.
10. Verificaciones de aceptación en la entrega
Ejecuta estos en cada unidad antes de que entre en un programa de captura:
- Confirma el sensor y la resolución contra el pedido en la página en vivo.
- Gira el dispositivo rápidamente frente a un borde recto. Los bordes deben permanecer rectos en ambos ojos.
- Mide la inclinación de cámara a cámara con un LED rápido o un movimiento brusco.
- Graba un dispositivo estático durante diez minutos y verifica la tasa de IMU, los huecos y el sesgo.
- Calibra, luego verifica el error de reproyección y la profundidad en un objetivo conocido a 0.30, 0.40 y 0.60 m.
- Graba una sesión completa en la tarjeta, extráelo a través de la aplicación y verifica la continuidad del marcador COMPLETO y la marca de tiempo.
Todo lo necesario para estas verificaciones está en los repositorios abiertos. Los controladores de la placa para los módulos Camemake en la misma familia SoC están en ROCKCHIP_MIPI_CAMERAS.
11. Niveles de requisitos
| Necesidad | Configuración |
|---|---|
| Captura de cabeza, profundidad estéreo de manos | CameVision EGO, sensor de 1920 × 1200 |
| Cabeza más muñeca | CameVision EGO más Ego Single Sensor |
| Baja luz o cerca de IR | Opción de sensor mono, ópticas de paso IR bajo pedido |
| Dispositivo portátil terminado bajo tu marca | Auriculares, gorra, casco PPE, mochila de 5 cámaras o agarrador de enseñanza |
| Línea base personalizada, carcasa o conteo de cámaras | Programa de módulo OEM |
De la evaluación a la producción en volumen
EGO es la placa de evaluación de una plataforma que producimos en volumen. La misma placa se envía bajo tu marca, en tu carcasa, con tu línea base y sensor. Ordena unidades de evaluación del estéreo EGO o el Sensor Único EGO, o iniciar un programa ODM u OEM en soluciones robóticas Camemake.
---