Beberapa hari yang lalu Llamafile 0.8 dirilis dengan dukungan LLaMA 3 dan Grok serta performa F16 yang lebih cepat. Kini proyek dari Mozilla untuk penerapan model bahasa besar (LLM) yang mandiri dan mudah didistribusikan kembali telah keluar dengan rilis baru.
Hal yang paling signifikan dengan rilis Llamafile 0.8.1 pada hari Jumat adalah mendapatkan dukungan GPU yang berfungsi untuk lebih banyak prosesor grafis/akselerator AMD. Karena beberapa kode offload AMD dalam Llamafile hanya mengasumsikan pengidentifikasi versi IP grafis “GFX” numerik dan bukan alfanumerik, offload GPU secara keliru dipecah untuk sejumlah bagian AMD Instinct / Radeon. Untuk perangkat keras seperti Instinct MI250 dengan IP GFX90A, “A” tidak diuraikan dengan benar dan tidak diteruskan ke kompiler HIP. Pada gilirannya, hal ini akan menyebabkan kesalahan dan merusak akselerasi GPU Llamafile pada GPU AMD yang memiliki karakter non-numerik sebagai bagian dari pengidentifikasi GFX-nya. Hal tersebut kini telah diperbaiki dengan Llamafile 0.8.1 dan dengan demikian akselerasi GPU AMD bekerja pada lebih banyak perangkat keras untuk penerapan model bahasa besar berbasis Llamafile.
Selain itu, Llamafile 0.8.1 kini mengirimkan modul NVIDIA dan AMD ROCk yang telah dibuat sebelumnya untuk pengguna Windows dan Linux untuk lebih memudahkan penerapan LLM file tunggal Llamafile yang mendukung eksekusi CPU dan GPU.
Llamafile 0.8.1 juga menambahkan dukungan untuk model Phi-3 Mini 4k, memperbaiki bug yang menyebabkan model GPU mogok. dukungan untuk Command-R Plus memiliki pengindeksan 64-bit yang tepat, dan perbaikan lainnya.
Unduhan dan detail lebih lanjut tentang rilis Llamafile 0.8.1 baru melalui Mozilla-Ocho di GitHub.
Itulah berita seputar Llamafile 0.8.1 GPU LLM Offloading Bekerja Sekarang Dengan Lebih Banyak GPU AMD, semoga bermanfaat. Disadur dari Phoronix.com.