Menjelang debut iOS 18 di WWDC pada bulan Juni, Apple telah merilis rangkaian model bahasa besar sumber terbuka. Disebut OpenELM, Apple mendeskripsikannya sebagai: rangkaian dari Open -source E fficient L anguage M odels. Dalam pengujiannya, Apple mengatakan bahwa OpenELM menawarkan kinerja serupa dengan model bahasa terbuka lainnya, tetapi dengan data pelatihan yang lebih sedikit.
Apple menjelaskan:
Untuk tujuan ini, kami merilis OpenELM, model bahasa terbuka yang canggih. OpenELM menggunakan strategi penskalaan berdasarkan lapisan untuk mengalokasikan parameter secara efisien dalam setiap lapisan model transformator, sehingga menghasilkan peningkatan akurasi. Misalnya, dengan anggaran parameter sekitar satu miliar parameter, OpenELM menunjukkan peningkatan akurasi sebesar 2,36% dibandingkan OLMo dan memerlukan token pra-pelatihan 2x lebih sedikit.
Berbeda dari praktik sebelumnya yang hanya menyediakan bobot model dan kode inferensi, serta pra-pelatihan pada kumpulan data pribadi, rilis kami mencakup kerangka kerja lengkap untuk pelatihan dan evaluasi model bahasa pada kumpulan data yang tersedia untuk umum, termasuk log pelatihan, beberapa pos pemeriksaan, dan konfigurasi pra-pelatihan. Kami juga merilis kode untuk mengonversi model ke perpustakaan MLX untuk inferensi dan penyesuaian pada perangkat Apple. Rilis komprehensif ini bertujuan untuk memberdayakan dan memperkuat komunitas penelitian terbuka, membuka jalan bagi upaya penelitian terbuka di masa depan.
Anda dapat menemukan detail selengkapnya di tautan di bawah ini:
OpenELM: Rangkaian Model Bahasa yang Efisien dengan Pelatihan Sumber Terbuka dan Kerangka InferensiDatabase OpenELM Apple di Hugging Face iOS 18 akan menyertakan kumpulan fitur kecerdasan buatan baru, dan rilis OpenELM hari ini adalah hanyalah bagian terbaru dari persiapan di balik layar Apple.
Peneliti Apple mengungkapkan terobosan AI baru untuk melatih LLM pada gambar dan teksApple Keyframer menghasilkan animasi AI dari gambar diam dan teksMengedit foto menggunakan perintah teks – Pekerjaan Apple AI berlanjutApple mengajarkan sistem AI untuk menggunakan aplikasi; mungkin untuk tingkat lanjut Siri Bloomberg melaporkan minggu lalu bahwa fitur AI iOS 18 akan didukung oleh model bahasa besar yang sepenuhnya ada di perangkat, yang akan menawarkan manfaat privasi dan kecepatan.
Ikuti Peluang : Threads, Twitter, Instagram, dan Mastodon.
Itulah konten tentang Apple merilis rangkaian baru Model Bahasa Efisien Sumber Terbuka seiring kemajuan pekerjaan AI, semoga bermanfaat.
