Modder Buka Performa AI GeForce RTX 20 hingga 40
Modder menemukan cara meningkatkan throughput AI pada GeForce RTX 20, 30, dan 40. Meski beberapa hasil uji mendekati dua kali lipat, kinerja aplikasi nyata lebih bervariasi dan modifikasi berisiko.
Sejumlah modder menemukan cara meningkatkan kemampuan komputasi AI pada kartu grafis GeForce RTX 20, 30, dan 40 tanpa mengganti perangkat keras. Dalam beberapa pengujian, throughput operasi tertentu mendekati dua kali lipat setelah pembatasan Tensor Core diubah. Namun, hasil itu tidak berarti semua aplikasi AI akan berjalan dua kali lebih cepat.
Temuan tersebut relevan bagi pengguna yang menjalankan model AI langsung di komputer. Jagat Review melaporkan, modifikasi dilakukan melalui tool open-source yang mengubah konfigurasi GPU sebelum driver NVIDIA dimuat. Prosesnya tidak memerlukan penggantian komponen maupun flash VBIOS.
Peningkatan yang diuji berkaitan dengan operasi Tensor Core yang menggabungkan perhitungan FP16 atau BF16 dengan akumulasi FP32. Pada kartu GeForce, jenis operasi ini memiliki throughput lebih rendah dibandingkan mode FP16 dengan akumulasi yang sama. Modifikasi yang ditemukan para modder berupaya menghilangkan batasan tersebut.
Angka pengujian berbeda menurut model GPU
Hasil pada RTX 3090 Ti memperlihatkan komputasi BF16 naik dari 87,5 menjadi 157,4 TFLOPS. Angka tersebut menunjukkan perubahan besar pada kapasitas komputasi untuk operasi yang diuji, meski belum menggambarkan kecepatan setiap aplikasi dalam penggunaan sehari-hari.
Pada RTX 4090, throughput instruksi FP16 tercatat berubah dari 165,6 menjadi 331,6 TFLOPS. Pengujian pada kartu yang lebih tua juga menunjukkan peningkatan. RTX 2080 Ti, misalnya, mencatat performa FP16 dari 59,9 menjadi 111 TFLOPS.
Perbedaan angka antarproduk mencerminkan hasil pada konfigurasi dan jenis operasi yang diuji. Karena itu, angka hampir dua kali lipat sebaiknya dipahami sebagai capaian pada pengujian komputasi tertentu, bukan janji bahwa semua pemilik RTX akan memperoleh peningkatan serupa.
Manfaat paling terasa diperkirakan muncul pada pekerjaan yang banyak menggunakan komputasi matriks. Contohnya pemrosesan prompt model bahasa besar atau LLM, pembuatan gambar dengan AI, serta fine-tuning model. Jenis beban kerja inilah yang berpotensi memanfaatkan throughput Tensor Core yang lebih tinggi.
Performa aplikasi nyata tidak selalu berlipat
Ketika diuji pada penggunaan yang lebih dekat dengan aplikasi, peningkatannya lebih terbatas. Pemrosesan prompt LLM dilaporkan naik sekitar 14 hingga 36 persen. Besarnya perubahan bergantung pada pekerjaan yang dijalankan, sehingga angka teoritis dari pengujian throughput tidak bisa langsung disamakan dengan pengalaman pengguna.
Kecepatan menghasilkan token jawaban pada LLM juga cenderung tidak banyak berubah. Tahap ini lebih bergantung pada bandwidth memori, bukan hanya kemampuan komputasi Tensor Core. Dengan kata lain, membuka batas pada satu bagian GPU belum tentu mempercepat seluruh proses secara sebanding.
Modifikasi ini pun tidak ditujukan untuk meningkatkan kinerja grafis saat bermain gim. Fokusnya adalah komputasi AI. Pengguna yang berharap mendapat peningkatan frame rate atau rendering game hampir dua kali lebih cepat tidak akan menemukan dasar untuk harapan tersebut dari hasil pengujian yang dilaporkan.
Bagi pengguna AI lokal, peningkatan throughput bisa menjadi pertimbangan saat menjalankan beban kerja yang sesuai. Namun, hasil akhir tetap dipengaruhi karakter pekerjaan yang dilakukan. Pengujian komputasi, pemrosesan prompt, dan keluaran token merupakan hal berbeda, sehingga manfaatnya perlu dinilai berdasarkan aplikasi yang benar-benar dipakai.
Tool masih terbatas dan berisiko bagi sistem
Tool yang tersedia saat ini sebagian besar ditujukan untuk Linux. Ada versi Windows eksperimental, tetapi dukungannya hanya untuk perangkat keras tertentu. Kompatibilitas belum merata, dan belum ada metode pembukaan batas yang terkonfirmasi untuk RTX 50 Series.
Modifikasi tingkat konfigurasi GPU ini juga membawa risiko. Sistem dapat menjadi tidak stabil, bahkan gagal melakukan boot. Karena itu, potensi kenaikan kinerja perlu ditimbang dengan kemungkinan komputer tidak bisa digunakan sebagaimana mestinya.
Jagat Review menyebut tool tersebut tersedia melalui GitHub. Pengguna yang mempertimbangkan untuk mencobanya perlu memeriksa kecocokan perangkat dan memahami risiko sebelum mengubah konfigurasi, terutama jika komputer itu merupakan perangkat utama yang harus selalu siap dipakai. Dukungan Windows yang masih eksperimental dan ketidakpastian kompatibilitas membuat metode ini belum cocok dianggap sebagai peningkatan sederhana untuk semua pemilik GeForce RTX.
