Intel hari ini merilis toolkit OpenVINO 2024.0 sumber terbuka untuk mengoptimalkan dan menerapkan inferensi AI di berbagai perangkat keras.
OpenVINO adalah toolkit AI open-source Intel yang luar biasa untuk mempercepat inferensi AI tidak hanya pada CPU x86_64 tetapi juga CPU ARM dan arsitektur lainnya, grafis terintegrasi dan diskrit Intel, dan banyak lagi — termasuk plug-in NPU terbaru untuk memanfaatkan Intel Unit Pemrosesan Neural ditemukan dengan SoC Core Ultra “Meteor Lake” baru.
Dengan rilis OpenVINO 2024.0 hari ini, terdapat fokus AI “GenAI” yang lebih generatif dengan pengalaman yang lebih baik untuk model pengkodean kalimat TensorFlow, dukungan untuk Mixture of Experts (MoE), API JavaScript untuk akses tanpa batas ke OpenVINO API, dan model tervalidasi untuk Mistral dan banyak lagi.
OpenVINO 2024.0 juga menghadirkan peningkatan kualitas pada kompresi bobot INT4 untuk LLM, peningkatan kinerja LLM pada CPU Intel, pengoptimalan dan konversi model Hugging Face yang lebih mudah, dan peningkatan integrasi Hugging Face lainnya.
OpenVINO 2024.0 menghentikan Gaussian dan Neural Accelerator (Intel GNA) Intel sebelumnya dan sekarang berfokus pada NPU yang ditemukan di Meteor Lake dan yang lebih baru. Plug-in Intel NPU untuk OpenVINO kini juga didistribusikan sebagai bagian dari paket OpenVINO utama di PyPi. Untuk pengguna non-Intel, OpenVINO 2024.0 juga menampilkan kinerja CPU ARM yang lebih baik dan berbagai peningkatan platform.
Unduhan dan detail lebih lanjut tentang rilis fitur besar OpenVINO 2024.0 hari ini melalui GitHub. Saya akan segera mengeluarkan beberapa benchmark OpenVINO baru.
Itulah berita seputar OpenVINO 2024.0 Menghadirkan Lebih Banyak Fitur GenAI, API JavaScript Baru, semoga bermanfaat. Disadur dari Phoronix.com.