Intel telah menjadikan Perpustakaan Akselerasi NPU (intel-npu-acceleration-library) sebagai perpustakaan ruang pengguna untuk sistem Windows dan Linux untuk berinteraksi dengan Neural Processing Unit (NPU) yang awalnya ditemukan di laptop Meteor Lake baru mereka.
Intel telah lama mengembangkan driver kernel iVPU Linux yang berada di hulu kernel untuk mendukung Intel NPU (sebelumnya dikenal sebagai VPU) yang dimulai dengan Meteor Lake. Perpustakaan Akselerasi NPU ini adalah perpustakaan Python yang nyaman untuk memanfaatkan potensi NPU.
Pustaka Intel Neural Processing Unit mendukung kuantisasi 8-bit, dukungan Float16, dukungan torch.compile, inferensi bentuk statis, dan fitur lainnya. Perpustakaan Akselerasi NPU dapat diunduh dari GitHub atau diinstal dengan mudah melalui PIP.
Halaman GitHub Perpustakaan Akselerasi Intel NPU memiliki contoh kode Python yang menunjukkan perkalian matriks tunggal pada NPU, mengkompilasi model untuk NPU, dan bahkan menjalankan model Tiny-Llama pada NPU. Rilis v1.0 menandai rilis stabil awal untuk perpustakaan ini yang akan menjadi semakin penting di era AI dan seiring dengan berkembangnya NPU ke lebih banyak prosesor Intel.
Itulah berita seputar Intel Menjadikan Open-Source Pustaka Akselerasi NPU Python-nya, semoga bermanfaat. Disadur dari Phoronix.com.