Insinyur Intel baru saja merilis OpenVINO 2024.1, rilis fitur terbaru untuk toolkit AI sumber terbuka luar biasa ini yang terus memperluas fitur dan kemampuannya khususnya seputar AI Generatif “GenAI” dan Model Bahasa Besar (LLM).
Di sisi AI generatif, OpenVINO 2024.1 menambahkan model Mixtral dan URLNet yang dioptimalkan untuk CPU Intel Xeon, model Stable Diffusion 1.5 / ChatGLM3-6B / Qwen-7B telah dioptimalkan untuk kinerja Intel Core Ultra (Meteor Lake) yang lebih cepat dengan Arc Graphics-nya, dan sekarang ada dukungan yang ditambahkan untuk Falcon-7B-Instruct LLM.
OpenVINO 2024.1 juga telah mengurangi waktu kompilasi model bahasa yang besar untuk prosesor Intel yang memiliki dukungan Intel Advanced Matrix Extensions (AMX), kompresi dan kinerja LLM yang lebih baik dengan oneDNN / INT4 / INT8 pada GPU Intel Arc Graphics, dan pengurangan memori yang signifikan untuk model GenAI yang lebih kecil pada Intel Prosesor Inti Ultra.
OpenVINO 2024.1 juga memasukkan plug-in Neural Processing Unit (NPU) untuk prosesor Intel Core Ultra “Meteor Lake” ke dalam repositori GitHub daripada harus bergantung pada paket PyPi eksternal. API JavaScript OpenVINO kini juga lebih mudah diakses melalui repositori NPM. Untuk OpenVINO pada prosesor ARM, inferensi FP16 kini didukung secara default dengan Jaringan Neural Konvolusional Arm.
Secara keseluruhan OpenVINO 2024.1 tampak seperti rilis yang bagus. Saya berharap dapat mencoba OpenVINO 2024.1 serta menjalankan beberapa benchmark OpenVINO baru terutama jika plug-in Core Ultra NPU kini dalam kondisi yang baik. Toolkit OpenVINO 2024.1 dapat diunduh dari GitHub.
Itulah berita seputar Intel Merilis OpenVINO 2024.1 Dengan Lebih Banyak Fitur Gen AI & LLM, semoga bermanfaat. Disadur dari Phoronix.com.