Beberapa hari yang lalu saya berkesempatan untuk menikmati nirwana komputasi yang luar biasa: delapan akselerator AMD Instinct MI300X yang dapat saya gunakan untuk beberapa pengujian singkat. Tidak hanya luar biasa dari performa komputasi gesernya, tetapi bagi penggemar Phoronix, lebih menarik lagi mengetahui bahwa ini berada di atas tumpukan perangkat lunak sumber terbuka sepenuhnya dari driver kernel hingga berbagai perpustakaan ruang pengguna (yah, tanpa GPU mikrokode). Pertemuan pertama dengan seri AMD MI300 ini membuka mata dalam melihat sejauh mana perkembangan perangkat lunak ROCm dan meningkatnya tantangan bagi NVIDIA di masa depan dengan meningkatnya daya saing upaya perangkat keras dan perangkat lunak AMD.
Dalam waktu singkat AMD mengizinkan saya gratis akses ke AMD Accelerator Cloud ke sebuah instance dengan delapan akselerator MI300X. Mereka memiliki waktu tiga hari antara penggunaan pelanggan yang selama akhir pekan lalu memungkinkan saya bereksperimen dengan perangkat keras MI300X dan tumpukan perangkat lunak Linux sumber terbuka terbaru mereka.
Saya memiliki akses tak terbatas ke perangkat keras MI300X untuk bereksperimen. AMD telah menyiapkan beberapa container Docker terlebih dahulu untuk dengan mudah mencoba model bahasa besar Llama 2 dan sejenisnya, di luar semua model ROCm lainnya dan berbagai beban kerja AI. Berjalan di AMD Accelerator Cloud adalah ROCm 6.0 serta kemampuan untuk mencoba ROCm 6.1 yang masih dalam tahap pengerjaan untuk rilis resminya dalam beberapa minggu mendatang. Untuk ROCm 6.1, AMD sedang mempersiapkan sejumlah optimasi penting untuk seri MI300X termasuk dukungan vLLM, dukungan kuantisasi yang lebih besar, dukungan HIP Graph, dan banyak lagi. AMD juga mengumumkan hari ini bahwa OpenAI telah menggabungkan dukungan GPU Triton AMD di bagian hulu untuk OpenAI Triton 3.0.
Menimbang bahwa saya telah meliput dunia driver grafis AMD Linux selama dua puluh tahun sekarang — kembali ke tahun-tahun sebelum mereka memiliki driver sumber terbuka strategi dan memulai dengan driver berpemilik “fglrx” yang terkenal kejam, pengalaman AMD MI300X ini merupakan cerminan luar biasa tentang sejauh mana dukungan perangkat lunak sumber terbuka AMD telah berkembang. Llama 2 dan beban kerja AI lainnya berjalan dengan kecepatan tinggi dan dukungan perangkat lunak berfungsi dengan baik pada instalasi Ubuntu 22.04 LTS.
Dari perspektif sumber terbuka, satu-satunya pesaing pada saat ini adalah Intel dengan perangkat keras Habana Labs Gaudi2 mereka yaitu didukung oleh kernel Linux upstream dan dengan perangkat lunak ruang pengguna SynapseAI yang menyertainya meskipun belum dapat menguji sendiri pengalaman perangkat lunak tersebut. Selama dua tahun terakhir, modul kernel terbuka NVIDIA setidaknya menyediakan driver kernel sumber terbuka untuk perangkat kerasnya, tetapi CUDA dan semua driver ruang pengguna lainnya seperti dukungan OpenGL, OpenCL, dan Vulkan tetap bersifat sumber tertutup. Tidak ada tanda-tanda NVIDIA berencana membuat CUDA lebih ramah sumber terbuka. Dengan modul kernel terbuka NVIDIA yang tidak upstream di kernel Linux arus utama merupakan hambatan lebih lanjut untuk adopsi dan cita-cita open-source/Linux.
Ini juga pertama kalinya saya mencoba AMD Accelerator Cloud “AAC” setelah sebelumnya mencoba AMD mereka sebelumnya Cloud Platform pada tahun 2022. AAC mudah ditangani dan bebas masalah dari pertemuan singkat saya. Intel di sisi lain tabel memiliki Cloud Pengembang mereka “DevCloud” tetapi belum diuji di Phoronix.
Informasi latar belakang lebih lanjut tentang seri Instinct MI300 melalui acara AI AMD bulan Desember.
AMD Instinct MI300X diberi peringkat untuk kapasitas daya 750 Watt dan memang dengan perangkat keras yang diuji mampu mendorong kedelapan Instinct MI300X ke peringkat 750 Watt seperti yang dilaporkan melalui sensor yang diekspos oleh rocm-smi.
Karena pemberitahuan singkat tentang ketersediaan AMD Instinct MI300X dan kemudian waktu yang sangat singkat untuk “menendang ban” dengan akses AAC serta karena tidak memiliki server yang dikonfigurasi secara lokal dengan GPU/akselerator yang berbeda, artikel ini hanya berfungsi sebagai ikhtisar pengalaman awal saya. Saya berharap untuk segera memiliki akses lebih lama ke perangkat keras seri AMD MI300 dan pada saat itu saya akan lebih fokus pada tolok ukur kinerja. Tapi dari pertemuan awal ini, saya katakan untuk saat ini pengujian awal ini sangat positif dan melebihi ekspektasi saya. Sungguh menakjubkan sejauh mana dukungan komputasi open-source AMD telah hadir dengan mengaktifkan dan menjalankan Llama 2 dan beban kerja AI lainnya ketika para insinyur perangkat lunak AMD dengan tergesa-gesa menangani lebih banyak peningkatan perangkat lunak untuk ROCm pada tahun 2024. Masih ada beberapa hal yang harus dilakukan dengan NVIDIA pada tahun 2024. dari sisi perangkat lunak sementara sebelumnya saya tidak punya waktu untuk banyak bereksperimen dengan ROCm 6.0, sangat luar biasa melihat kemajuan yang dicapai baru-baru ini.
Jadi untuk saat ini itulah rangkuman singkat rodeo pertama saya dengan seri AMD Instinct MI300, namun nantikan pengujian lebih lanjut (semoga secepatnya. Sangat menyenangkan melihat sejauh mana dukungan driver AMD Linux telah berkembang selama dua dekade terakhir setelah membahasnya secara dekat di Phoronix. Terima kasih kepada AMD yang menawarkan akses gratis untuk beberapa tes pendahuluan Instinct MI300X di AMD Accelerator Cloud.
Itulah berita seputar Memanfaatkan Kekuatan Komputasi AI yang Luar Biasa Di Atas Perangkat Lunak Sumber Terbuka: 8 x Akselerator AMD MI300X Di Linux, semoga bermanfaat. Disadur dari Phoronix.com.