Dunia kecerdasan buatan (AI) semakin berkembang, dan kini hadir akselerator AI (kecerdasan buatan) canggih yang dirancang khusus untuk komputasi tepian (edge computing): MemryX MX3.
Bulan lalu, Jean-Luc membahas akselerator AI DeGirum ORCA M.2 dan USB, dan hari ini kita akan mengupas MemryX MX3 beserta modulnya yang mampu menjalankan jaringan saraf visi komputer menggunakan framework (kerangka kerja) umum seperti TensorFlow, TensorFlow Lite, ONNX, PyTorch, dan Keras.
Membongkar Spesifikasi MemryX MX3
MemryX belum mengungkap banyak hal tentang performa chip ini. Yang kita tahu sejauh ini adalah MX3 menawarkan lebih dari 5 TFLOPs. Berikut spesifikasi yang tertera:
- Aktivasi Bfloat16
- Batch = 1
- Bobot: 4, 8, dan 16-bit
- ~10 juta parameter tersimpan internal
- Antarmuka host – PCIe Gen 3 I/O dan/atau USB 2.0/3.x
- Konsumsi daya – ~1.0W
- Kompilasi 1-klik untuk MX-SDK saat memetakan jaringan saraf dengan banyak lapisan
Memiliki keunggulan tersendiri, MX3 menggunakan MemryX Compute Engines (MCE) yang terintegrasi erat dengan komputasi at-memory. Desain ini menciptakan arsitektur aliran data asli dan milik MemryX yang dapat memanfaatkan hingga 70% chip hanya dengan sekali klik. Bandingkan dengan CPU, GPU, dan DSP tradisional yang menggunakan set instruksi lama dan arsitektur aliran kontrol setelah penyesuaian perangkat lunak, di mana pemanfaatan chip hanya mencapai 15-30% saja.
MemryX MX3: Lebih dari Sekedar Chip
MX3 hadir dalam beberapa bentuk: keping chip polos, paket chip tunggal, atau modul (mini PCIe atau M.2) dengan satu atau lebih chip MemryX MX3.
Modul M.2 dengan empat chip MemryX MX3 – Sumber: Mark Hachman, PCWorld
MX3 EVB (Evaluation Board): Papan evaluasi (EVB) ini memiliki empat chip MX3, dan Anda dapat menghubungkan beberapa papan EVB secara bersamaan menggunakan antarmuka tunggal untuk mendapatkan daya inferensi yang dibutuhkan. Masing-masing dari keempat chip ini dikemas dalam paket tunggal.
MemryX MX3: Software Development Kit (SDK)
MX SDK membantu dalam simulasi dan penerapan model AI yang telah dilatih. MemryX membangun produknya untuk:
- Memberikan performa per watt terbaik
- Menjalankan model yang dilatih pada framework populer tanpa memerlukan perubahan perangkat lunak atau pelatihan ulang
- Memberikan skalabilitas dan granularitas tinggi
- Menjalankan model AI dengan performa yang sama di setiap prosesor host terlepas dari beban sistem
- Menyediakan SDK (perangkat lunak kompilasi) 1-klik yang sama
Developer hub dari SDK ini terdiri dari kompiler (untuk pemrosesan grafik, pemetaan, dan perakitan), utility tool (simulator akurasi bit, penganalisis performa, profiler, chip helper tool, dan aplikasi template), dan lingkungan runtime dengan API, driver OS, dan runtime dataflow.
MX3 SDK dan Edge Impulse: Anda dapat menggunakan MX3 EVB dengan penerapan Edge Impulse setelah menginstal dependensi seperti Python 3.8+, tool dan driver MemryX, dan Edge Impulse (untuk Linux). Selanjutnya, hubungkan papan ke Edge Impulse, lalu verifikasi koneksi dengan membuka project Anda dan klik “devices”.
MemryX MX3: Performa yang Menjanjikan
Meskipun perusahaan belum memberikan banyak detail tentang performa chip, mereka mengunggah video demo menggunakan input kamera virtual AirSim – perangkat lunak pembuat dataset untuk kendaraan dan pesawat nirawak otonom – yang membandingkan komputer dengan modul MX3 M.2 dan komputer dengan GPU NVIDIA 4060.
Latency (keterlambatan) sangat rendah saat menggunakan modul MX3, tetapi meningkat drastis saat beralih ke GPU NVIDIA 4060. Selain itu, video tersebut juga memperlihatkan kebisingan yang dihasilkan kipas pendingin GPU tersebut.
Ingin mengetahui lebih lanjut? Anda bisa mengunjungi situs web resmi MemryX.