CPU andalan Intel Xeon Max 9480 Sapphire Rapids dengan memori HBM2e mencapai 56 core / 112 thread, jadi bagaimana hal itu dapat bersaing dengan prosesor AMD EPYC terbaru yang mencapai 96 core untuk Genoa (atau 120 core dengan Bergamo yang akan datang)? Selain HBM2e on-package yang unik untuk keluarga Xeon Max, ace lain yang dimiliki Xeon Max dengan jajaran Sapphire Rapids lainnya adalah dukungan untuk Advanced Matrix Extensions (AMX). Dalam tolok ukur kinerja Intel Xeon Max saat ini secara tepat menunjukkan dampak bagaimana HBM2e dan AMX untuk bersaing — dan mengungguli — prosesor AMD EPYC 9554 dan 9654 dalam beban kerja AI ketika memanfaatkan AMX dan HBM2e onboard secara efektif memory.
Dengan tolok ukur Intel Xeon Max 9468/9480 yang dipublikasikan di Phoronix minggu lalu, ini memberikan gambaran kinerja prosesor “SPR HBM2e” ini ketika memori bandwidth tinggi itu langsung dinonaktifkan, berjalan dalam mode caching DDR5+HBM2e, lalu dalam mode khusus HBM2e untuk melihat apa arti memori bandwidth tinggi 64GB untuk kinerja HPC/server pada tahun 2023. Secara keseluruhan dampak kinerja Xeon Max relatif terhadap memori bandwidth tinggi adalah 18~20% berdasarkan rata-rata geometris semua tes sementara beberapa meningkat lebih dari itu. Tetapi 56 core masih kurang dari bagian hitungan core teratas yang ditawarkan oleh AMD EPYC dan Ampere Computing atau bahkan Sapphire Rapids non-Max Xeon Platinum yang menyediakan 60 core. Prosesor seri AMD EPYC 9004 juga dapat menawarkan 12 saluran memori DDR5 daripada 8 saluran di tempat lain.
Untuk beban kerja yang intensif memori dan mampu secara efektif memanfaatkan tidak hanya memori HBM2e dan juga Advanced Matrix Extensions (AMX) baru untuk Sapphire Rapids, itu bisa cukup untuk bersaing dengan prosesor AMD EPYC Genoa saat ini serta mengungguli komponen papan atas tersebut. Advanced Matrix Extensions adalah permainan Intel untuk Generasi ke-4 Xeon yang Dapat Diskalakan untuk mempercepat beban kerja AI. Intel telah mengerjakan dukungan sumber terbuka/Linux untuk AMX sejak pertengahan 2020 dan sejak saat itu telah memasukkan kode pengaktifan ke kompiler GCC dan LLVM/Clang, bit kernel Linux, dan komponen rantai alat lainnya. Intel juga telah menyumbangkan bit terkait AMX ke Cloud Hypervisor, KVM, dan komponen perangkat lunak Linux umum lainnya. Intel juga sudah bekerja di sisi perangkat lunak untuk AMX-COMPLEX untuk tayang perdana dengan Granite Rapids D.
Berkat upstreaming dukungan mereka jauh sebelum peluncuran Sapphire Rapids, dari sisi kompiler telah ada dukungan Advanced Matrix Extensions kembali ke GCC 11 dan LLVM/Clang 13. Saya telah membahas lebih banyak tentang kinerja AMX di awal tahun dalam Kinerja Intel Advanced Matrix Extensions [AMX] Dengan Xeon Scalable Sapphire Rapids.
Plus dengan ekosistem perangkat lunak sumber terbuka yang kuat dari Intel, mereka menerapkan dukungan AMX sebelum -meluncurkan ke proyek mereka yang terkenal dan banyak digunakan seperti perpustakaan jaringan saraf oneDNN dan toolkit OpenVINO. Dukungan AMX juga telah ditambahkan ke proyek perangkat lunak HPC utama lainnya seperti libxsmm. Dukungan sumber terbuka Intel yang tepat waktu, mengelola proyek perangkat lunak sumber terbuka yang hebat dan banyak digunakan, dan kontribusi luar biasa mereka untuk proyek sumber terbuka pihak ketiga yang ada benar-benar tetap menjadi yang terbaik di industri ini. Saya memilih untuk menggunakan OpenVINO juga karena sangat mengenalnya selama bertahun-tahun dan telah terbukti bekerja dengan baik untuk tujuan pembandingan di seluruh spektrum perangkat keras x86_64 sementara secara jelas memiliki dukungan AMX sejak awal.
Untuk dapat menganalisis gabungan AMX dan dampak HBM2e pada kinerja, toolkit Open Visual Inference dan Neural network Optimization (OpenVINO) digunakan. Seperti yang ditunjukkan pada artikel Xeon Max sebelumnya, mengubah penggunaan HBM2e dapat dilakukan dengan beralih ke mode Flat (1LM) di BIOS jika ingin secara efektif menghindari penggunaan HBM2e tanpa menetapkan apa pun padanya, mode caching HBM (2LM), lalu Mode khusus HBM dengan mengosongkan DIMM DDR5. Dengan oneDNN/OpenVINO, penggunaan AMX juga dapat dialihkan melalui variabel lingkungan ONEDNN_MAX_CPU_ISA di mana AVX512_CORE_AMX adalah default pada Sapphire Rapids atau secara opsional dapat ditarik kembali ke versi AVX/AVX-512 yang lebih rendah. Untuk artikel ini guna menilai dampak gabungan pada Xeon Max 9480, konfigurasi berikut diuji:
Xeon Max 9480 2P, Tanpa HBM, Max AVX512 FP16 – Menjalankan dua prosesor Xeon Max 9480 dengan hanya memori DDR5 yang digunakan dan membatasi satuDNN/OpenVINO ke AVX-512 FP16 tetapi tanpa AMX, alias run.
Xeon Max 9480 2P, Tanpa HBM – CPU Xeon Max unggulan dengan AMX digunakan oleh perangkat lunak yang diuji tetapi memori HBM2e tidak digunakan (hanya DDR5).
Xeon Max 9480 2P, HBM Caching – Prosesor Xeon Max 9480 dengan AMX dan berjalan dalam mode caching HBM2e antara gabungan memori HBM 128GB dan memori sistem DDR5 512GB.
Xeon Max 9480 2P, Khusus HBM – Konfigurasi paling optimal untuk Xeon Max 9480 prosesor dalam menjalankan seluruhnya dari 128GB HBM2e (64GB per soket) dan dengan AMX digunakan. Tidak ada DDR5 yang diisi dan dalam tolok ukur OpenVINO ini mereka dapat berjalan dengan RAM kurang dari 2GB per utas sehingga cocok untuk pengujian. Nbsp
Angka Xeon Max ini dibandingkan dengan AMD EPYC 9554 2P (64 inti per soket) dan AMD EPYC 9654 2P (96 inti per soket) prosesor. AMD EPYC 9654 adalah SKU top-end saat ini menjelang pengiriman Bergamo dan Genoa-X segera.
Prosesor Xeon Max terus diuji dalam platform Supermicro Hyper SuperServer SYS-221H-TN. Terima kasih kepada Intel dan Supermicro yang telah menyediakan perangkat keras server untuk memungkinkan pembandingan kinerja Xeon Max ini.
Selama pengujian, konsumsi daya paket CPU dicatat untuk tujuan perbandingan antara berbagai konfigurasi pengoperasian Xeon Max.
Itulah berita seputar Kinerja Intel Xeon Max Menghadirkan Kombinasi Kuat Dengan AMX + HBM2e, semoga bermanfaat. Disadur dari Phoronix.com.