Gömülü AI için Egosantrik Yakalama Cihazı Satın Alma: CameVision EGO Alıcı Rehberi

Robotlar, insanlardan manipülasyonu öğrenir. Bir kişinin bir görevi nasıl yerine getirdiğini kaydetmenin en temiz yolu, kişinin kendi gözleri ve elleri aracılığıyla, her kare ve her hareket örneği tek bir saat üzerinde kaydedilmektedir. Bu, egosantrik bir yakalama cihazının işidir ve veriler, onu kaydeden donanım kadar iyidir.

Bu rehber, bir alıcının kontrol etmesi gerekenleri, önemli olan sırayla belirler ve CameVision EGO'nun her noktayı nasıl yanıtladığını gösterir. Camemake, kendi üretim hatlarımızda temiz oda montajı, optik hizalama, kalite kontrol ve seri izleme ile ISO9001 standartlarına uygun olarak kamera modülleri tasarlar ve üretir. EGO tamamen açık kaynaklıdır, bu nedenle aşağıdaki her cevap, bulunduğu kod veya belgeye bağlantı sağlar.

İki cihaz kapsanmaktadır:

• CameVision EGO (CV-EGO01-OS): iki global obtüratör kameralar, iki IMU, yerleşik NPU. Repo: github.com/Camemake/CameVision-Ego. Belgeler: camemake.github.io/CameVision-Ego.
• CameVision Ego Tek Sensör (CV-EGO01-SS): bir global obtüratör kamera, bir IMU, aynı hesaplama. Repo: github.com/Camemake/CameVision-Ego-Single-Sensor. Belgeler: camemake.github.io/CameVision-Ego-Single-Sensor.

1. Her geometri kamerasında global obtüratör

Eller hızlı hareket eder. Bir kaydırmalı obtüratör, kareyi satır satır okur, bu nedenle hareket eden bir parmak veya dönen bir baş görüntüde kesilir ve stereo eşleştirme ile poz tahmini hatayı miras alır. Geometri için kullanılan herhangi bir kamera, tüm kare için tek bir pozlama ile gerçek bir global obtüratör olmalıdır.

Her iki EGO cihazı da yalnızca global obtüratör sensörleri kullanır. Sensör, her iki kartın paylaştığı bir menüden sipariş anında seçilir:

Her göz kendi 4-laneli MIPI bağlantısında çalışır. Tam sensör kartları EGO veri sayfasında.

Stereo EGO'da, her mağaza sensörü 60 fps'de çalışır; bu aynı zamanda stereo kartın maksimumudur. AR0235 ve Kaimou GS2.3 sensörler olarak 120 fps'ye ulaşabilir; stereo kartta hala 60 fps'de tavan yaparlar. Ego Tek Sensör, aynı altı mağaza sensörünü 60 fps'de kullanır ve bu kart 60 fps'den daha yüksek hızlara çıkabilir.

Kaimou GS2.3 en yeni seçenektir. Kaimou bunu robot kameraları için 2.3 MP global obtüratör sensörü olarak yayımlar: 1920 × 1200, 3.0 µm piksel, 1/2.6 inç, 120 fps'ye kadar, mono veya RGB, 68.6 dB dinamik aralık, 7300 e⁻ tam kuyu ve 850 nm'de %44.6 QE, çoklu kamera düzenekleri için kare senkronizasyonu ile. Geliyor: örnekler Q4 2026, üretim Q2 2027. Tam rakamlar: GS2.3 spesifikasyonu.

2. Görüş açısı ve lens

Bir alıcı, verilerin aslında bozulma düzeltmesinden sonra sunduğu görüş açısını sormalıdır, kutuda yazılı olan diyagonal değil. Lens odak uzunluğunu piksel cinsinden ve bozulma rakamını isteyin, ardından düzeltilmiş alanı kendiniz hesaplayın.

EGO, tam lens verilerini optik sayfasında yayımlar.. Lens, sabit M12 modülü, 2G4P + 1 IR, EFL 1.79 mm, F/2.0, TV distorsiyonu < −22.3 % ve en yakın nesne mesafesi 0.20 m ile birlikte gelir. Otomatik odaklama yoktur, bu nedenle içsel özellikler odakla kaymaz. Alan sensörü takip eder:

• SC233HGS: D 160°, H 144°, V 100° (f = 597 px)
• OG02C10: D 160°, H 140°, V 112° (f = 519 px)
• MIRA220: D 147.4°, H 118.6°, V 106.4° (f = 639 px)
• OX05B1S: f = 814 px
• Kaimou GS2.3: SC233HGS ile aynı alan, D 160°, H 144°, V 100° (f = 597 px)

Lens, bir IR-kesme filtresi (650 nm'de %50) taşır ve IP69'a kadar sızdırmazdır.

3. Stereo temel çizgisi

Eldeki mesafede derinlik hassasiyeti, temel çizgi ve piksel cinsinden odak uzunluğuna bağlıdır. EGO stereo temel çizgisi 75.0 mm, CAM0 sol, CAM1 sağdır. Optik sayfası, ellerin aşağıdan görünümü için geometrik hesaplamaları yapar: SC233HGS ile, 0.30 m'de farklılık 149 px, 0.40 m'de 112 px ve 0.60 m'de 75 px'dir ve 0.40 m'de 180 mm'lik bir el yaklaşık 269 px'lik bir alan kaplar.

75.0 mm temel çizgisi için bir piksel farklılıkta derinlik hatası, optik sayfasında yayımlanmıştır:

Eğer çalışma alanınız daha geniş veya daha dar bir çift gerektiriyorsa, temel çizgi özel modül programımızda standart bir seçenektir.

4. Pozlama kontrolü

Kısa pozlama hızlı el hareketlerini net tutar. Stereo için, her iki göz de aynı şekilde pozlanmalıdır, aksi takdirde eşleştirici iki farklı görüntü görür. Bir alıcı, yazılımın izin verdiği pozlama aralığını, sol ve sağın tek bir pozlama ve beyaz dengesi paylaşıp paylaşmadığını ve kare başına pozlama ve kazancın geri okunup okunamayacağını kontrol etmelidir.

EGO'da, pozlama ve beyaz dengesi her iki ISP'de de rkaiq 3A üzerinden çalışır. Her iki göz de aynı pozlama ve AWB'yi paylaşır, Slave HDR kapalıdır. IQ varsayılanı 50 Hz titreşimsizliktir: pozlama adımları 50 Hz ana güçte N × 10 ms ve 60 Hz'de N × 8.333 ms'dir. Konfigürasyon, sürüm üst katmanındaki IQ JSON dosyalarında bulunur. Kaynaklar ve önyükleme zinciri "yazılım sayfasında. Çünkü yığın açıktır, bir ekip kendi pozlama politikasını belirleyebilir ve bunu doğrudan cihazda doğrulayabilir.

Ego Tek Sensör aynı rkaiq yolunu kullanır ve ayrıca UVC üzerinden AE ve AWB'yi açığa çıkarır. O kartta, titreşim önleyici adımlar 50 Hz'de 25 fps ve 60 Hz'de 30 fps ile eşleşir (UVC güç hattı modları 0/1/2).

5. IMU

Görsel-inertiyel boru hatları, kameranın kendi çerçevesinde ölçülen ham, yüksek hızlı ivme verilerine ihtiyaç duyar.

EGO, her kameranın yanına bir IMU yerleştirir: ayrı SPI hatlarında iki ST LSM6DSVQTR parçası, böylece her kameranın kısa, bilinen bir kol uzunluğuna sahip kendi ivme referansı vardır. IMU 16-bit, ±2'den ±16 g'ye ve ±125'ten ±4000 dps'ye kadar. Çıkış veri hızı 7.68 kHz'ye kadar seçilebilir ve demo HUD varsayılan olarak 480 Hz'de çalışır. Ham ivmeölçer ve jiroskop örnekleri, standart Linux IIO üzerinden veri hazır kesintisi ile gelir. Tek Sensör, 480 Hz'de aynı parçadan bir IMU taşır. Veri sayfasındaki gürültü değerleri, IMU üreticisinin tipik değerleridir (60 µg/√Hz ve 2.8 mdps/√Hz), kart ölçümleri değil, donanım sayfası.

6. Senkronizasyon

Üç saat birbirine uymalı: kamera ile kamera, kamera ile IMU ve baş ile bilek.

Kamera ile kamera. EGO, RV1126B GPIO FSYNC ve EFSYNC hatlarından her iki sensörü doğrudan SoC kontrolü altında, sürekli tetikleme modunda çalıştırır. Yazılım hizalaması yoktur. Senkronizasyon kodu tools/ego_cam_sync.py; pin haritası repo README. Stereo EGO üzerindeki sensörler 60 fps'de çalışır, bu da stereo maksimumudur. Demo paketi 12.5 fps'de tetiklenir; oran açık kaynakta ayarlanmıştır.

Kamera ile IMU. Her IMU, tanımladığı kamera ile aynı kartta bulunur ve kendi kesmesi ile çekirdek üzerinden okunur. Tek Sensör üzerindeki kayıtlar ve uygulama aracılığıyla IMU satırları hem Unix hem de monotonik nanosecond zaman damgaları ile yazılır.

Baş ile bilek. Usta manipülasyon genellikle bir baş stereo çifti artı bir bilek veya alet kamerası ile yakalanır. Ego Tek Sensör, bu ikinci rol için tasarlanmıştır: aynı sensörler, aynı hesaplama, aynı kayıt cihazı, daha küçük bir alanda bir kamera ve bir IMU. Sabit çoklu kamera düzenleri için, aynı CameVision platformu, bir tetikleme alanında 3, 5 ve 9 kamera kartı olarak gönderilir, Camemake robotik çözümleri.

Bir alıcı, teslim edilen birimlerde kaymayı ölçmelidir: tüm kameralar üzerinde hızlı bir LED veya keskin bir hareket kaydedin ve kare zaman damgalarını karşılaştırın.

7. Kalibrasyon

İçsel, stereo dışsal ve kamera ile IMU dışsal kalibrasyon verilerin kullanılabilir olup olmadığını belirler. Kalibrasyon, EGO'da kameranın kendisinde çalışır: canlı sayfa ve kalibrasyon UI tools/ego_stereo.py ile yerel eşleştirici ile stereo_native.c. Bir alıcı, her birimde yeniden projeksiyon hatasını kontrol etmeli ve kalibrasyonu birimin seri numarasına bağlı tutmalıdır.

8. Kayıt, depolama ve veri sahipliği

Veri yakalama, onu kaydeden ekiple birlikte kalmalıdır. EGO ve Tek Sensör yerel olarak kaydeder: 16 GB eMMC artı bir microSD yuvası, 1 GB RAM, çift ISP ve NPU ile RV1126B SoC üzerinde. Güç, USB-C veya pil pedlerinden gelir.

Kontrol, bir telefon üzerinden CameVision Uygulaması aracılığıyla Bluetooth üzerinden, iki modda:

• Bağımsız: tam çözünürlükte kayıtları microSD karta başlatır ve durdurur, ardından bunları telefona kopyalar.
• Sunucu: kamera ayrıca kendi Wi-Fi 6'sı üzerinden çalıştırdığınız bir sunucuya yükleme yapar, ağ kesildiğinde kartı tampon olarak kullanır.

Tek Sensör ayrıca kart sürücü olarak monte edildiğinde standart bir UVC kamera olarak tanımlanır, böylece herhangi bir ana bilgisayar Wi-Fi olmadan onu okuyabilir.

9. Veri formatı

Stereo EGO oturumları, her göz için zaman damgası dosyaları cam_left.timestamps.jsonl ve cam_right.timestamps.jsonl yazar. Kare ve IMU örnek zamanları CLOCK_MONOTONIC_ns kullanır; IMU JSON ayrıca CLOCK_REALTIME ve bir ISO dizesi taşır, RV-3028 sistem saatini ayarlar.

Tek Sensör ve CameVision Uygulaması ile, her oturum kartta bir klasördür:

```

camevision/sessions/<YYYYMMDDTHHMMSSZ>/

session.json

imu0.csv

cam0/video.mp4

TAMAMLANMIŞ

```

Video tam çözünürlükte H.264'tür. imu0.csv, t_unix_ns, t_mono_ns, ax, ay, az, gx, gy, gz, m/s² cinsinden ivme ve deg/s cinsinden jiroskopu tutar. TAMAMLANMIŞ işareti, hattınıza oturumun düzgün kapandığını bildirir. Yükleme sözleşmesi, uygulama deposunda belgelenmiş basit bir üç çağrılı HTTP API'sidir. Tek Sensör belgeleri: camemake.github.io/CameVision-Ego-Single-Sensor.

10. Teslimatta kabul kontrolleri

Bunları her birim için bir yakalama programına girmeden önce çalıştırın:

1. Canlı sayfadaki siparişle sensör ve çözünürlüğü doğrulayın.
2. Cihazı düz bir kenarın önünde hızlıca döndürün. Kenarlar her iki gözde de düz kalmalıdır.
3. Kamera ile kamera arasındaki eğikliği hızlı bir LED veya keskin hareketle ölçün.
4. On dakika boyunca sabit bir cihaz kaydedin ve IMU oranını, boşlukları ve yanlılığı kontrol edin.
5. Kalibre edin, ardından 0.30, 0.40 ve 0.60 m'deki bilinen bir hedefte yeniden projeksiyon hatasını ve derinliği kontrol edin.
6. Tam bir oturumu karta kaydedin, uygulama üzerinden çekin ve TAMAMLANMIŞ işaretçi ve zaman damgası sürekliliğini doğrulayın.

Bu kontroller için gereken her şey açık reposlarda bulunmaktadır. Aynı SoC ailesindeki Camemake modülleri için kart sürücüleri ROCKCHIP_MIPI_CAMERAS.

11. Gereksinim katmanları

Değerlendirmeden hacme

EGO, hacimde ürettiğimiz bir platformun değerlendirme kartıdır. Aynı kart, markanız altında, konutunuzda, temeliniz ve sensörünüz ile gönderilir. stereo EGO'nun değerlendirme birimlerini sipariş edin. veya EGO Tek Sensör, veya Camemake robotik çözümleri.

---