Apakah kamu tertarik untuk menjalankan Large Language Model (LLM) di perangkat lokal? Ada banyak kelebihan yang bisa kamu nikmati, seperti privasi lebih terjamin, kustomisasi sesuai kebutuhan, dan akses offline. Namun, memulai semuanya mungkin terasa menantang karena konfigurasi yang rumit dan pemilihan model yang tepat untuk tiap hardware yang ada.
Kali ini kita akan menggunakan tool/aplikasi Msty , kita bisa menjalankan server LLM lokal hanya dalam beberapa menit. Msty akan menangani semua proses yang rumit, sehingga kita bisa fokus menjelajahi kekuatan AI tanpa repot. Namun, untuk memastikan semuanya berjalan lancar, penting untuk memahami kebutuhan memori model yang Anda pilih.
Contoh Praktis: Menghitung Kebutuhan Memori untuk Model DeepSeek-R1 70B
Sekarang, mari kita ambil contoh model DeepSeek-R1 70B :
- Ukuran Parameter : 70 miliar (70B)
- Quantization Bits : 16 (presisi FP16)
- Biaya Overhead : 1,2
Menggunakan formula di atas: KebutuhanMemori=70×(816)×1,2
Langkah-langkah perhitungannya adalah sebagai berikut:
- Quantization Bits ÷ 8 :
816=2 - Ukuran Parameter × Hasil Langkah 1 :
70×2=140 - Hasil Langkah 2 × Biaya Overhead :
140×1,2=168
Jadi, kebutuhan memori untuk model DeepSeek-R1 70B dengan presisi FP16 adalah sekitar 168 GB .
Perbandingan dengan Presisi Lain
- Jika model menggunakan presisi FP32 (32-bit), maka:
KebutuhanMemori=70×(832)×1,2=336GB.
Ini menunjukkan bahwa presisi yang lebih tinggi membutuhkan memori yang jauh lebih besar. - Jika model menggunakan kuantisasi dengan presisi yang lebih rendah (misalnya Q8_0), maka:
KebutuhanMemori=70×(88)×1,2=84GB.
Ini menunjukkan bahwa kuantisasi dengan presisi yang lebih rendah dapat mengurangi kebutuhan memori secara signifikan.
Bagaimana Msty Membantu
Dengan Msty , Anda tidak perlu melakukan perhitungan manual seperti ini. Msty akan secara otomatis menghitung kebutuhan memori dan memberikan skor kompatibilitas untuk model DeepSeek-R1 70B atau model lainnya. Skor kompatibilitas ini akan membantu Anda mengetahui apakah model tersebut cocok untuk perangkat keras yang Anda miliki.
Dengan demikian, Anda dapat memilih model yang sesuai dengan kebutuhan dan sumber daya yang tersedia.