购买用于具身人工智能的自我中心捕捉设备：CameVision EGO 购买指南
机器人从人类那里学习操作。记录一个人如何处理任务的最干净方式是通过这个人的眼睛和手，每一帧和每一个动作样本都在一个时钟上。这就是自我中心捕捉设备的工作，而数据的质量仅取决于记录它的硬件。
本指南列出了买家应检查的内容，按重要性排序，并展示了CameVision EGO如何回答每个要点。Camemake在我们自己的生产线上设计和制造相机模块，采用洁净室组装、光学对准、质量保证和遵循ISO9001标准的序列跟踪。EGO是完全开源的，因此下面的每个答案都链接到其所在的代码或文档。
涵盖两个设备：
- CameVision EGO (CV-EGO01-OS): 两个全球快门相机，两个IMU，板载NPU。Repo: github.com/Camemake/CameVision-Ego. 文档: camemake.github.io/CameVision-Ego.
- CameVision Ego 单传感器 (CV-EGO01-SS): 一个全球快门相机，一个IMU，相同的计算。Repo: github.com/Camemake/CameVision-Ego-Single-Sensor. 文档: camemake.github.io/CameVision-Ego-Single-Sensor.
1. 每个几何相机都使用全球快门
手的移动很快。滚动快门逐行读取帧，因此移动的手指或转动的头在图像中会出现剪切，立体匹配和姿态估计会继承这个误差。任何用于几何的相机必须是真正的全球快门，整个帧只有一次曝光。
两个EGO设备仅使用全球快门传感器。传感器在订购时从两个板共享的一个菜单中选择：
| 传感器 | 分辨率 | 备注 |
|---|---|---|
| SC233HGS | 1920 × 1200 | 颜色，全球 |
| OG02C10 | 1600 × 1200 | 颜色，全球 |
| MIRA220 | 1600 × 1400 | BSI，全球 |
| AR0235 | 1920 × 1200 | 颜色或单色，全球，120 fps |
| OX05B1S | 2592 × 1944 | 5 MP，全球 |
| Kaimou GS2.3 | 1920 × 1200 | 单色或RGB，全球，120 fps |
每只眼睛都通过自己的4通道MIPI链接运行。完整传感器卡在EGO数据表.
在立体EGO上，每个商店传感器以60 fps运行；这也是立体板的最大值。AR0235和Kaimou GS2.3作为传感器可以达到120 fps；在立体板上它们仍然限制在60 fps。Ego单传感器使用相同的六个商店传感器以60 fps运行，这块板可以超过60 fps。
Kaimou GS2.3 是最新的选项。 Kaimou 将其发布为2.3 MP全球快门传感器，用于机器人相机：1920 × 1200，3.0 µm像素，1/2.6英寸，最高120 fps，单色或RGB，68.6 dB动态范围，7300 e⁻满井和850 nm时44.6%的量子效率，支持多摄像头同步。它即将推出：样品在2026年第四季度，生产在2027年第二季度。完整数据：GS2.3规格.
2. 视场和镜头
买家应询问数据在失真校正后实际提供的视场，而不是盒子上印刷的对角线。询问镜头的焦距（以像素为单位）和失真数据，然后自行计算校正后的视场。
EGO在光学页面上发布完整的镜头数据. 镜头是一个固定的 M12 模块，2G4P + 1 IR，EFL 1.79 毫米，F/2.0，具有 TV 失真 < −22.3 % 和最近物体距离为 0.20 米。没有自动对焦，因此内在参数不会随着焦距漂移。视场跟随传感器:
- SC233HGS: D 160°, H 144°, V 100° (f = 597 像素)
- OG02C10: D 160°, H 140°, V 112° (f = 519 像素)
- MIRA220: D 147.4°, H 118.6°, V 106.4° (f = 639 像素)
- OX05B1S: f = 814 像素
- Kaimou GS2.3: 与 SC233HGS 相同的视场，D 160°, H 144°, V 100° (f = 597 像素)
镜头配备了一个 IR 切割滤镜（在 650 nm 时为 50%），并密封至 IP69.
3. 立体基线
手部距离的深度精度取决于基线和以像素为单位的焦距。EGO 立体基线为 75.0 毫米，CAM0 左，CAM1 右。光学页面通过几何计算提供手部的俯视图：使用 SC233HGS，视差在 0.30 米时为 149 像素，在 0.40 米时为 112 像素，在 0.60 米时为 75 像素，180 毫米的手在 0.40 米时大约跨越 269 像素.
在 75.0 毫米基线下，一个视差像素的深度误差在光学页面上发布:
| 范围 | SC233HGS / GS2.3 | MIRA220 / AR0235 | OG02C10 | OX05B1S |
|---|---|---|---|---|
| 0.30 米 | 2.0 毫米 | 1.9 毫米 | 2.3 毫米 | 1.5 毫米 |
| 0.40 米 | 3.6 毫米 | 3.3 毫米 | 4.1 毫米 | 2.6 毫米 |
| 0.60 米 | 8.0 毫米 | 7.5 毫米 | 9.2 毫米 | 5.9 毫米 |
如果您的工作空间需要更宽或更窄的配对，基线是我们定制模块程序中的标准选项.
4. 曝光控制
短曝光保持快速手部动作清晰。对于立体图像，两个眼睛的曝光也必须相同，否则匹配器会看到两个不同的图像。买家应检查固件允许的曝光范围，左右是否共享一个曝光和白平衡，以及每帧的曝光和增益是否可以读取。
在EGO上，曝光和白平衡通过两个ISP上的rkaiq 3A进行处理。两个眼睛共享相同的曝光和自动白平衡，关闭从属HDR。IQ的默认设置是50 Hz防闪烁：曝光步长在50 Hz电源下为N × 10毫秒，在60 Hz下为N × 8.333毫秒。配置存储在发布覆盖中的IQ JSON文件中。源和启动链在软件页面. 由于堆栈是开放的，团队可以设置自己的曝光策略并直接在设备上验证。
Ego单传感器使用相同的rkaiq路径，并通过UVC公开AE和AWB。在该板上，防闪烁步长与50 Hz下的25 fps和60 Hz下的30 fps配对（UVC电源线模式0/1/2）。
5. IMU
视觉惯性管道需要原始的高频率惯性数据，以相机自身的框架进行测量。
EGO在每个相机旁边放置一个IMU：两个ST LSM6DSVQTR部件在不同的SPI总线上，因此每个相机都有自己的惯性参考，具有短的已知杠杆臂。IMU为16位，±2到±16 g和±125到±4000 dps。输出数据速率可选择高达7.68 kHz，演示HUD默认以480 Hz运行。原始加速度计和陀螺仪样本通过标准Linux IIO以数据准备中断的方式传输。单传感器以480 Hz携带一个相同部件的IMU。数据表中的噪声数值是IMU制造商的典型值（60 µg/√Hz和2.8 mdps/√Hz），不是板测量值，如硬件页面.
6. 同步
三个时钟必须一致：相机与相机、相机与IMU，以及头部与手腕。
相机与相机。 EGO通过RV1126B GPIO FSYNC和EFSYNC线路在直接SoC控制下驱动两个传感器，处于连续触发模式。没有涉及软件对齐。同步代码是 tools/ego_cam_sync.py; 引脚图在 repo README. 立体EGO上的商店传感器以60 fps运行，这也是立体最大值。演示包以12.5 fps触发；该速率在开源中设置。
相机与IMU。 每个IMU与其描述的相机位于同一电路板上，并通过内核以其自己的中断读取。单传感器和应用程序上的录音以Unix和单调纳秒时间戳写入IMU行。
头部与手腕。 灵巧操作通常通过一对头部立体摄像机加上一个手腕或工具摄像机捕获。Ego单传感器是为第二个角色而构建的：相同的传感器、相同的计算、相同的记录器，一个相机和一个IMU在更小的占地面积内。对于固定的多摄像头布局，相同的CameVision平台以3、5和9个摄像头板在一个触发域中发货，描述在 Camemake机器人解决方案.
买家应测量交付单位的偏差：在所有相机上记录快速LED或快速运动，并比较帧时间戳。
7. 校准
内在参数、立体外参和相机与IMU的外参决定数据是否可用。校准在EGO中的相机本身上运行：实时页面和校准UI由 tools/ego_stereo.py 提供，使用原生匹配器在 stereo_native.c. 买家应检查每个设备的重投影误差，并保持校准与设备的序列号相关联。
8. 录制、存储和数据所有权
捕获的数据应保留在记录它的团队中。EGO和单传感器本地记录：16 GB eMMC加上一个microSD插槽，1 GB RAM，基于RV1126B SoC，具有双ISP和NPU。电源来自USB-C或电池垫。
控制通过手机运行，使用 CameVision应用程序 通过蓝牙，有两种模式：
- 独立模式: 启动和停止全分辨率录制到microSD卡，然后将其复制到手机。
- 服务器: 摄像头还通过其自己的Wi-Fi 6上传到您运行的服务器，如果网络中断，则使用卡作为缓冲。
单传感器还作为标准UVC摄像头枚举，卡作为驱动器挂载，因此任何主机都可以在没有Wi-Fi的情况下读取它。
9. 数据格式
立体EGO会话为每只眼睛写入时间戳文件cam_left.timestamps.jsonl和cam_right.timestamps.jsonl。帧和IMU采样时间使用CLOCK_MONOTONIC_ns；IMU JSON还携带CLOCK_REALTIME和ISO字符串，RV-3028设置系统时钟。
使用单传感器和CameVision应用程序，每个会话在卡上是一个文件夹：
```
camevision/sessions/<YYYYMMDDTHHMMSSZ>/
session.json
imu0.csv
cam0/video.mp4
完成
```
视频为全分辨率H.264。imu0.csv包含t_unix_ns、t_mono_ns、ax、ay、az、gx、gy、gz、加速度（单位：m/s²）和陀螺仪（单位：deg/s）。完成标记告诉您的管道会话已正常关闭。上传合同是一个简单的三次调用HTTP API，记录在应用程序仓库中。单传感器文档：camemake.github.io/CameVision-Ego-Single-Sensor.
10. 交付时的验收检查
在每个单元进入捕获程序之前运行这些检查：
- 确认传感器和分辨率与实时页面上的订单一致。
- 在直边前快速旋转设备。边缘在双眼中必须保持直线。
- 使用快速LED或快速运动测量相机之间的倾斜。
- 记录静止设备十分钟，并检查IMU速率、间隙和偏差。
- 校准，然后在已知目标上检查重投影误差和深度，距离为0.30、0.40和0.60米。
- 将完整会话记录到卡中，通过应用程序提取，并验证完整的标记和时间戳连续性。
进行这些检查所需的一切都在开放的代码库中。相同SoC系列的Camemake模块的板驱动程序在ROCKCHIP_MIPI_CAMERAS.
11. 需求层级
| 需求 | 配置 |
|---|---|
| 头部捕获，手部立体深度 | CameVision EGO，1920 × 1200传感器 |
| 头部加手腕 | CameVision EGO加Ego单传感器 |
| 低光或近红外 | 单传感器选项，按需提供IR通光光学 |
| 您品牌下的成品可穿戴设备 | 耳机、帽子、个人防护头盔、5摄像头背包或教学夹具 |
| 自定义基线、外壳或相机数量 | OEM模块程序 |
从评估到量产
EGO是我们大规模生产的平台的评估板。相同的板在您的品牌下、您的外壳中、与您的基线和传感器一起发货。订购评估单元的立体EGO 或者 EGO 单传感器, 或者启动 ODM 或 OEM 项目 Camemake 机器人解决方案.
---