Tomeu Vizoso yang baru-baru ini berupaya memperluas driver grafis sumber terbuka Etnaviv untuk juga mendukung IP NPU Vivante telah membuat kemajuan besar dengan kinerja kompetitif pada driver NPU berpemilik dan meng-upstream kerangka Teflon ke Mesa untuk menangani Unit Pemrosesan Neural . Tomeu Vizoso kini mengalihkan perhatiannya untuk mengerjakan driver NPU open-source yang direkayasa ulang untuk perangkat keras AI yang ditemukan di berbagai SoC Rockchip.
Dengan dukungan driver sumber terbuka NPU Etnaviv/Vivante dalam kondisi yang layak, tantangan Tomeu berikutnya adalah menggunakan driver sumber terbuka untuk IP NPU Rockchip yang ditemukan di SoC seperti RK3588(S) dan RK3568.
Saat ini, driver Rockchip resmi terdiri dari driver kernel out-of-tree GPL dan ruang pengguna sumber tertutup. Vizoso merangkum status driver biner saat ini sebagai:
“Versi NPU di RK3588 mengklaim kinerja 6 TOPS di 3 core-nya, meskipun dari apa yang saya baca, orang-orang mengalami kesulitan dalam menggunakan lebih dari satu core secara paralel, dengan driver sumber tertutup.
…
Driver kernel cukup sederhana dan relatif terkini dalam hal penggunaan API kernel internal. Namun tumpukan ruang pengguna terkenal bermasalah dan sulit digunakan, dengan fitur-fitur dasar yang masih belum diterapkan dan kinerjanya jauh di bawah apa yang seharusnya dapat dicapai oleh perangkat keras.
Untuk lebih jelasnya, ini merupakan masalah yang biasa terjadi terkait dengan driver sumber tertutup. Saya mendapat kesan bahwa tim NPU Rockchip benar-benar kekurangan staf. “Harapannya pada akhirnya adalah mengembangkan driver kernel sumber terbuka berkemampuan jalur utama dan ruang pengguna yang relevan untuk NPU Rockchip. Sejauh ini dia telah mencapai hasil yang baik. awal:
“Saya mulai melihat buffer yang dari log debug driver berpemilik berisi penulisan register, dan ketika melihat deskripsi register di TRM, saya melihat bahwa itu harus didasarkan pada IP NPU sumber terbuka NVDLA NVIDIA.
Dengan deskripsi Rockchip (singkatnya) tentang register dan dokumentasi NVDLA serta kode sumber untuk perangkat keras dan driver userspace, saya dapat membuat kemajuan beberapa kali lebih cepat dibandingkan dengan driver VeriSilicon (yang mana saya tidak mempunyai dokumentasi sama sekali) ).
Saat ini saya berada pada tahap di mana saya dapat menjalankan operasi Conv2D dan DepthwiseConv2D TensorFLow Lite dengan benar dengan kombinasi dimensi input, dimensi bobot, langkah, dan padding yang berbeda. Berikutnya adalah mendukung beberapa saluran keluaran.” Informasi lebih lanjut tentang petualangan driver NPU Linux open-source baru ini melalui blog Tomeu Vizoso.
Itulah berita seputar Upaya Driver Sumber Terbuka Telah Dimulai Untuk NPU Rockchips, semoga bermanfaat. Disadur dari Phoronix.com.