Skip to content

emka.web.id

menulis pengetahuan – merekam peradaban

Menu
  • Home
  • Tutorial
  • Makalah
  • Ke-NU-an
  • Kabar
  • Search
Menu

Llamafile 0.8 Dirilis Dengan Dukungan LLaMA3 & Grok, Performa F16 Lebih Cepat

Posted on April 25, 2024

Llamafile telah menjadi proyek yang cukup menarik dari grup Ocho Mozilla di era AI. Llamafile memudahkan menjalankan dan mendistribusikan model bahasa besar (LLM) yang mandiri dalam satu file. Llamafile dibuat dari Llama.cpp dan memudahkan pengiriman seluruh LLM sebagai satu file dengan dukungan eksekusi CPU dan GPU. Llamafile 0.8 kini hadir untuk ikut serta dalam kesenangan LLaMA3 serta memberikan dukungan model lain dan meningkatkan kinerja CPU.
Llamafile 0.8 adalah rilis menarik dengan tambahan dukungan untuk LLaMA3, Grok, dan Mixtral 8x22b.
Model Mixture of Experts (MoE) seperti Mixtral dan Grok kini juga 2~5x lebih cepat untuk dieksekusi pada CPU setelah memfaktorkan ulang kode CPU tinyBLAS. Ada juga performa F16 sekitar 20% lebih cepat di Raspberry Pi 5, performa F16 sekitar 30% lebih cepat di Intel Skylake, dan performa F16 sekitar 60% lebih cepat di Apple M2.

Llamafile 0.8 juga menghadirkan peningkatan deteksi fitur CPU dan peningkatan lainnya:
– Dukungan untuk LLaMA3 sekarang tersedia
– Dukungan untuk Grok telah diperkenalkan
– Dukungan untuk Mixtral 8x22b telah diperkenalkan
– Dukungan untuk model Command-R telah diperkenalkan
– Model MoE (misalnya Mixtral, Grok) kini bekerja 2-5x lebih cepat pada CPU
– F16 sekarang 20% ​​lebih cepat di Raspberry Pi 5 (Eval prompt TinyLLaMA 1.1b ditingkatkan 62 -> 75 tok/detik)
– F16 sekarang 30% lebih cepat di Skylake (eval prompt TinyLLaMA 1.1b ditingkatkan 171 -> 219 tok/detik)
– F16 kini 60% lebih cepat di Apple M2 (Eval prompt Mistral 7b ditingkatkan 79 -> 128 tok/detik)
– Tambahkan kemampuan untuk mengganti template obrolan di web gui saat membuat file llama
– Meningkatkan penurunan harga dan penyorotan sintaksis di server
– Deteksi fitur CPU telah ditingkatkan Unduhan Llamafile 0.8 melalui GitHub. Saya akan segera mengerjakan benchmark Llamafile baru.

Itulah berita seputar Llamafile 0.8 Dirilis Dengan Dukungan LLaMA3 & Grok, Performa F16 Lebih Cepat, semoga bermanfaat. Disadur dari Phoronix.com.

Terbaru

  • Review Aplikasi ClipClaps: Penipuan atau Tidak?
  • Review Aplikasi Wibuku: Alternatif Nonton Anime Gratis untuk Para Wibu Indonesia!
  • Inilah Alat dan Software Phone Farming dengan Samsung Galaxy J7 Prime
  • Cara Cek Paket Internet Telkomsel Kena Pembatasan/Throttling Atau Tidak
  • Cara Mengatasi YMusic APK Error Tidak Bisa Dibuka
  • Cara Memblokir Akun Teman di Mobile Legend: Panduan Lengkap
  • Profil Farida Farichah, Wakil Menteri Koperasi Kabinet Merah Putih Reshuffle 17 September 2025
  • Ini Info Terbaru Pencairan BSU BPJS Ketenagakerjaan 2025!
  • Cara Reset Printer Epson L3110 2025
  • WhatsApp Tiba-tiba Keluar dan Meminta Verifikasi: Apa yang Harus Dilakukan?
  • Bisakah Saldo BNI Kamu Nol? Fakta dan Cara Mengatasinya
  • Inilah Tanda-tanda Chat Audio di Grup WhatsApp Sudah Disadap
  • Cara Mengatasi Tidak Bisa Live Instagram Karena Tidak Memenuhi Syarat
  • 7 Spek Laptop yang Ideal untuk Coding & Ngoding Web/App
  • Keuntungan dan Kerugian Menggunakan PayPal: Panduan Lengkap
  • Cara Menggunakan Stellarium Web
  • Cara Menghapus Data KTP Pribadi di Pinjol yang Belum Lunas
  • Cara Mengganti Nomor TikTok yang Tidak Aktif atau Hilang Tanpa Verifikasi
  • Cara Menggunakan BCA PayLater Terbaru 2025
  • Cara Mendapatkan IMPoint Indosat IM3 Ooredoo Gratis via MyIM3
  • Apa Arti TikTok ‘Shared With You’?
  • Cara Menghapus Data KTP di Pinjol: Panduan Lengkap
  • Cara Download WhatsApp GB Terbaru 2025 – Fitur Lengkap & Aman
  • Review WhatsApp Beta: Apakah Aman? Cara Instal dan Cara Keluar
  • Bebong: Makna, Asal Usul, dan Penggunaan dalam Bahasa Indonesia
  • Spinjam dan Spaylater: Apa yang Terjadi Jika Terlambat Membayar dan Bisakah Meminjam Lagi?
  • Cara Download dan Menonton Dood Stream Tanpa Iklan – Doods Pro
  • Cara Menghentikan dan Mengatasi Pinjol Ilegal
  • Kode Bank BRI untuk Transfer ke PayPal
  • Cara Menyadap WhatsApp Tanpa Aplikasi dan Kode QR
  • Review Aplikasi ClipClaps: Penipuan atau Tidak?
  • Review Aplikasi Wibuku: Alternatif Nonton Anime Gratis untuk Para Wibu Indonesia!
  • Inilah Alat dan Software Phone Farming dengan Samsung Galaxy J7 Prime

©2025 emka.web.id | Design: Newspaperly WordPress Theme