خرید یک دستگاه ضبط خودمحور برای هوش مصنوعی تجسمی: راهنمای خریدار CameVision EGO

ربات‌ها از انسان‌ها یاد می‌گیرند که چگونه کارها را انجام دهند. تمیزترین راه برای ضبط نحوه انجام یک کار توسط یک فرد، از چشم‌ها و دستان خود فرد است، با هر فریم و هر نمونه حرکت در یک ساعت. این کار یک دستگاه ضبط خودمحور است و داده‌ها تنها به اندازه سخت‌افزاری که آن را ضبط می‌کند خوب هستند.

این راهنما مشخص می‌کند که یک خریدار باید چه مواردی را بررسی کند، به ترتیبی که مهم است، و نشان می‌دهد که CameVision EGO به هر نقطه چگونه پاسخ می‌دهد. Camemake ماژول‌های دوربین را در خطوط تولید خود طراحی و تولید می‌کند، با مونتاژ در اتاق تمیز، تنظیم نوری، کنترل کیفیت و ردیابی سری مطابق با استانداردهای ISO9001. EGO کاملاً متن باز است، بنابراین هر پاسخ زیر به کد یا سندی که در آن وجود دارد لینک می‌شود.

دو دستگاه پوشش داده شده است:

• CameVision EGO (CV-EGO01-OS): دو دوربین با شاتر جهانی، دو IMU، NPU داخلی. مخزن: github.com/Camemake/CameVision-Ego. اسناد: camemake.github.io/CameVision-Ego.
• CameVision Ego Single Sensor (CV-EGO01-SS): یک دوربین با شاتر جهانی، یک IMU، همان محاسبات. مخزن: github.com/Camemake/CameVision-Ego-Single-Sensor. اسناد: camemake.github.io/CameVision-Ego-Single-Sensor.

1. شاتر جهانی بر روی هر دوربین هندسی

دست‌ها سریع حرکت می‌کنند. یک شاتر متحرک فریم را خط به خط می‌خواند، بنابراین یک انگشت در حال حرکت یا یک سر در حال چرخش در تصویر برش می‌خورد و تطابق استریو و تخمین وضعیت خطا را به ارث می‌برد. هر دوربینی که برای هندسه استفاده می‌شود باید یک شاتر جهانی واقعی باشد، با یک نوردهی برای کل فریم.

هر دو دستگاه EGO فقط از حسگرهای شاتر جهانی استفاده می‌کنند. حسگر در زمان سفارش از یک منوی مشترک بین هر دو برد انتخاب می‌شود:

هر چشم بر روی لینک MIPI چهار لاین خود کار می‌کند. کارت‌های سنسور کامل در برگه داده EGO.

در EGO استریو، هر سنسور فروشگاه با 60 فریم در ثانیه کار می‌کند؛ این همچنین حداکثر برد استریو است. AR0235 و Kaimou GS2.3 می‌توانند به عنوان سنسور به 120 فریم در ثانیه برسند؛ اما در برد استریو هنوز به 60 فریم در ثانیه محدود هستند. سنسور تک Ego از همان شش سنسور فروشگاه با 60 فریم در ثانیه استفاده می‌کند و این برد می‌تواند بالاتر از 60 فریم در ثانیه برود.

Kaimou GS2.3 جدیدترین گزینه است. Kaimou آن را به عنوان یک سنسور شاتر جهانی 2.3 مگاپیکسلی برای دوربین‌های رباتیک منتشر می‌کند: 1920 × 1200، پیکسل 3.0 میکرون، 1/2.6 اینچ، تا 120 فریم در ثانیه، مونو یا RGB، دامنه دینامیکی 68.6 دسی‌بل، 7300 e⁻ چاه کامل و 44.6% QE در 850 نانومتر، با همگام‌سازی فریم برای ریک‌های چند دوربینه. در حال آمدن است: نمونه‌ها در Q4 2026، تولید در Q2 2027. ارقام کامل: مشخصات GS2.3.

2. میدان دید و لنز

یک خریدار باید از میدان دیدی که داده‌ها پس از اصلاح اعوجاج واقعاً ارائه می‌دهند، نه قطر چاپ شده روی جعبه، بپرسد. از طول کانونی لنز به پیکسل و عدد اعوجاج بپرسید، سپس میدان اصلاح شده را خودتان محاسبه کنید.

EGO داده‌های کامل لنز را در صفحه اپتیک منتشر می‌کند. لنز یک ماژول ثابت M12 است، 2G4P + 1 IR، EFL 1.79 میلی‌متر، F/2.0، با اعوجاج تلویزیونی < −22.3 % و نزدیک‌ترین فاصله شیء 0.20 متر. هیچ فوکوس خودکاری وجود ندارد، بنابراین ویژگی‌ها با فوکوس تغییر نمی‌کنند. میدان از حسگر پیروی می‌کند:

• SC233HGS: D 160°، H 144°، V 100° (f = 597 px)
• OG02C10: D 160°، H 140°، V 112° (f = 519 px)
• MIRA220: D 147.4°، H 118.6°، V 106.4° (f = 639 px)
• OX05B1S: f = 814 px
• Kaimou GS2.3: همان میدان SC233HGS، D 160°، H 144°، V 100° (f = 597 px)

لنز دارای یک فیلتر IR-cut (50% در 650 نانومتر) است و به IP69 مهر و موم شده است.

3. خط پایه استریو

دقت عمق در فاصله دست به خط پایه و طول کانونی در پیکسل‌ها بستگی دارد. خط پایه استریو EGO 75.0 میلی‌متر است، CAM0 چپ، CAM1 راست. صفحه اپتیک هندسه را برای نمای رو به پایین دست‌ها کار می‌کند: با SC233HGS، اختلاف 149 px در 0.30 متر، 112 px در 0.40 متر و 75 px در 0.60 متر است، و یک دست 180 میلی‌متری در 0.40 متر حدود 269 px را پوشش می‌دهد.

خطای عمق در خط پایه 75.0 میلی‌متر برای یک پیکسل اختلاف در صفحه اپتیک منتشر شده است:

اگر فضای کاری شما به یک جفت عریض‌تر یا باریک‌تر نیاز دارد، خط پایه یک گزینه استاندارد در برنامه ماژول سفارشی ما است.

4. کنترل نوردهی

نوردهی کوتاه حرکت سریع دست را تیز نگه می‌دارد. برای استریو، هر دو چشم باید به طور یکسان نوردهی کنند، در غیر این صورت تطبیق‌دهنده دو تصویر متفاوت می‌بیند. خریدار باید دامنه نوردهی که نرم‌افزار اجازه می‌دهد را بررسی کند، اینکه آیا چپ و راست یک نوردهی و تعادل رنگ سفید مشترک دارند و اینکه آیا نوردهی و افزایش هر فریم قابل خواندن است.

در EGO، نوردهی و تعادل رنگ سفید از طریق rkaiq 3A در هر دو ISP اجرا می‌شود. هر دو چشم نوردهی و AWB یکسانی دارند، با HDR برده خاموش. پیش‌فرض IQ 50 هرتز ضد سوسو زدن است: مراحل نوردهی N × 10 میلی‌ثانیه در 50 هرتز و N × 8.333 میلی‌ثانیه در 60 هرتز است. پیکربندی در فایل‌های JSON IQ در پوشش انتشار قرار دارد. منابع و زنجیره بوت در صفحه نرم‌افزار. از آنجا که پشته باز است، یک تیم می‌تواند سیاست نوردهی خود را تنظیم کرده و آن را مستقیماً روی دستگاه تأیید کند.

سنسور تک Ego از همان مسیر rkaiq استفاده می‌کند و همچنین AE و AWB را از طریق UVC نوردهی می‌کند. در آن برد، مراحل ضد سوسو زدن با 25 فریم در ثانیه در 50 هرتز و 30 فریم در ثانیه در 60 هرتز جفت می‌شوند (حالت‌های خط قدرت UVC 0/1/2).

5. IMU

لوله‌های بصری-اینرسی به داده‌های اینرسی خام و با نرخ بالا نیاز دارند که در قاب خود دوربین اندازه‌گیری می‌شوند.

EGO یک IMU در کنار هر دوربین قرار می‌دهد: دو قطعه ST LSM6DSVQTR در باس‌های SPI جداگانه، بنابراین هر دوربین مرجع اینرسی خود را با یک بازوی اهرمی کوتاه و شناخته شده دارد. IMU 16 بیتی، ±2 تا ±16 g و ±125 تا ±4000 dps است. نرخ داده خروجی تا 7.68 کیلوهرتز قابل انتخاب است و HUD نمایشی به طور پیش‌فرض در 480 هرتز اجرا می‌شود. نمونه‌های خام شتاب‌سنج و ژیروسکوپ از طریق IIO استاندارد لینوکس با یک وقفه آماده داده می‌آیند. سنسور تک یک IMU از همان قطعه را در 480 هرتز حمل می‌کند. اعداد نویز در برگه مشخصات مقادیر معمول سازنده IMU هستند (60 µg/√Hz و 2.8 mdps/√Hz)، نه اندازه‌گیری‌های برد، همانطور که در صفحه سخت‌افزار.

6. همزمانی

سه ساعت باید توافق کنند: دوربین به دوربین، دوربین به IMU، و سر به مچ.

دوربین به دوربین. EGO هر دو حسگر را از خطوط RV1126B GPIO FSYNC و EFSYNC تحت کنترل مستقیم SoC، در حالت تحریک مداوم هدایت می‌کند. هیچ هم‌راستایی نرم‌افزاری در کار نیست. کد همزمانی tools/ego_cam_sync.py; نقشه پین در repo README. حسگرهای فروشگاه در EGO استریو با 60 فریم در ثانیه کار می‌کنند که حداکثر استریو نیز هست. بسته دمو با 12.5 فریم در ثانیه تحریک می‌شود؛ نرخ در منبع باز تنظیم شده است.

دوربین به IMU. هر IMU بر روی همان بردی که دوربینی که توصیف می‌کند نشسته است، قرار دارد و از طریق هسته با وقفه خود خوانده می‌شود. ضبط‌ها بر روی حسگر تک و از طریق اپلیکیشن، ردیف‌های IMU را با هر دو زمان‌سنج Unix و نانوثانیه مونوترونیک می‌نویسند.

سر به مچ. دستکاری ماهرانه معمولاً با یک جفت استریو سر به همراه یک دوربین مچ یا ابزار ضبط می‌شود. حسگر تک Ego برای آن نقش دوم ساخته شده است: همان حسگرها، همان محاسبات، همان ضبط‌کننده، یک دوربین و یک IMU در یک فضای کوچکتر. برای چیدمان‌های چند دوربینه ثابت، همان پلتفرم CameVision به عنوان 3، 5 و 9 برد دوربین در یک دامنه تحریک ارسال می‌شود، که در Camemake robotic solutions.

یک خریدار باید انحراف را در واحدهای تحویلی اندازه‌گیری کند: یک LED سریع یا یک حرکت تند را در تمام دوربین‌ها ضبط کرده و زمان‌سنج‌های فریم را مقایسه کند.

7. کالیبراسیون

ویژگی‌های داخلی، ویژگی‌های استریو و ویژگی‌های دوربین به IMU تعیین می‌کنند که آیا داده‌ها قابل استفاده هستند یا خیر. کالیبراسیون بر روی خود دوربین در EGO اجرا می‌شود: صفحه زنده و رابط کاربری کالیبراسیون توسط tools/ego_stereo.py با تطبیق‌دهنده بومی در stereo_native.c. خریدار باید خطای بازپروژکشن را در هر واحد بررسی کند و کالیبراسیون را به شماره سریال واحد متصل نگه دارد.

8. ضبط، ذخیره‌سازی و مالکیت داده‌ها

داده‌های ضبط شده باید با تیمی که آن را ضبط می‌کند بماند. EGO و سنسور تک به صورت محلی ضبط می‌کنند: 16 گیگابایت eMMC به علاوه یک اسلات microSD، 1 گیگابایت RAM، بر روی یک SoC RV1126B با ISP دوگانه و NPU. منبع تغذیه از USB-C یا پدهای باتری تأمین می‌شود.

کنترل از طریق یک تلفن از طریق برنامه CameVision از طریق بلوتوث، در دو حالت:

• ایستاده: شروع و توقف ضبط‌های با وضوح کامل به کارت microSD، سپس کپی آن‌ها به تلفن.
• سرور: دوربین همچنین از طریق Wi-Fi 6 خود به یک سرور که شما اجرا می‌کنید بارگذاری می‌کند، با کارت به عنوان بافر در صورت قطع شبکه.

سنسور تک همچنین به عنوان یک دوربین UVC استاندارد با کارت نصب شده به عنوان یک درایو شناسایی می‌شود، بنابراین هر میزبان می‌تواند آن را بدون Wi-Fi بخواند.

9. فرمت داده

جلسات استریو EGO فایل‌های زمان‌سنجی به ازای هر چشم را به صورت cam_left.timestamps.jsonl و cam_right.timestamps.jsonl می‌نویسند. زمان‌های نمونه‌برداری فریم و IMU از CLOCK_MONOTONIC_ns استفاده می‌کنند؛ JSON IMU همچنین CLOCK_REALTIME و یک رشته ISO را حمل می‌کند، با RV-3028 که ساعت سیستم را تنظیم می‌کند.

با سنسور تک و برنامه CameVision، هر جلسه یک پوشه در کارت است:

```

camevision/sessions/<YYYYMMDDTHHMMSSZ>/

session.json

imu0.csv

cam0/video.mp4

کامل

```

ویدئو با وضوح کامل H.264 است. imu0.csv شامل t_unix_ns، t_mono_ns، ax، ay، az، gx، gy، gz، شتاب در m/s² و ژیروسکوپ در deg/s است. نشانگر کامل به خط لوله شما می‌گوید که جلسه به طور تمیز بسته شده است. قرارداد بارگذاری یک API HTTP سه‌گانه ساده است که در مخزن برنامه مستند شده است. مستندات سنسور تک: camemake.github.io/CameVision-Ego-Single-Sensor.

10. بررسی‌های پذیرش در تحویل

این‌ها را بر روی هر واحد قبل از ورود به برنامه ضبط اجرا کنید:

1. حسگر و وضوح را با سفارش در صفحه زنده تأیید کنید.
2. دستگاه را سریعاً در مقابل یک لبه صاف بچرخانید. لبه‌ها باید در هر دو چشم صاف بمانند.
3. انحراف دوربین به دوربین را با یک LED سریع یا حرکت تند اندازه‌گیری کنید.
4. یک دستگاه ثابت را به مدت ده دقیقه ضبط کنید و نرخ IMU، شکاف‌ها و انحراف را بررسی کنید.
5. کالیبره کنید، سپس خطای بازپروژکشن و عمق را بر روی یک هدف شناخته شده در 0.30، 0.40 و 0.60 متر بررسی کنید.
6. یک جلسه کامل را به کارت ضبط کنید، آن را از طریق برنامه بکشید و پیوستگی نشانگر و زمان‌سنج COMPLETE را تأیید کنید.

همه چیزهایی که برای این بررسی‌ها نیاز است در مخازن عمومی موجود است. درایورهای برد برای ماژول‌های Camemake در همان خانواده SoC در ROCKCHIP_MIPI_CAMERAS.

11. سطوح نیازمندی‌ها

از ارزیابی تا حجم

EGO برد ارزیابی یک پلتفرم است که ما در حجم تولید می‌کنیم. همان برد تحت برند شما، در محفظه شما، با خط پایه و حسگر شما ارسال می‌شود. واحدهای ارزیابی از EGO استریو یا حسگر تک EGO, یا برنامه ODM یا OEM را در راه‌حل‌های رباتیک Camemake.

---