RTX 20, 30 ve 40 serisinde yarı hızlı yapay zekâ sınırı kırıldı

Modderlar, Nvidia'nın RTX 20, 30 ve 40 serisi GeForce ekran kartlarında uyguladığı yarı hızlı yapay zekâ performans sınırını bir firmware açığı üzerinden kaldırmanın yolunu buldu. Nvidia'nın kendi yayımladığı teknik özelliklere göre bu sınır, FP32 birikimli matris işlemlerini her kartın FP16 birikimli hızının yarısıyla kısıtlıyor. Açığı kullanan projeler, kartlara yerel matris işlem verimini geri kazandırıyor ve bu da istem işleme (prompt processing) ile görüntü üretimini hızlandırabiliyor.

Teorik tepe değerlerde RTX 4090 için iki katlık bir artış söz konusu, ancak gerçek iş yüklerindeki kazanç bunun belirgin biçimde altında kalıyor. Sohbet botlarındaki token üretim hızı ise bellek bant genişliğine bağlı olduğu için yaklaşık aynı kalıyor.

Hangi kartlar ve hangi projeler kapsanıyor

Söz konusu sınır Nvidia'nın Turing ve Ampere tabanlı profesyonel kartlarında bulunmuyor. Kısıtı kaldırmak için üç ayrı proje var ve her biri kendi nesline özel, resmî olmayan birer Linux modülü sunuyor. Windows tarafında ise farklı bir yaklaşım izleyen deneysel sürümler üzerinde çalışılıyor.

Ampere için gpu-unlock projesi GA102, GA103, GA104 ve GA106 serilerinin kimliklerini listeliyor. Ada Lovelace için hazırlanan gpu-unlock-ada çatalı RTX 4090'ı kapsıyor; RTX 4090 D, 4070 Ti Super ve 4060 Ti 16GB ise deneysel olarak anılıyor. gpu-unlock'tan uyarlanan turing-unlock projesi RTX 2080 Ti ile çalışıyor; diğer Turing kartları test edilmeden eklenmiş durumda ve Turing'de BF16 desteği olmadığı için yalnızca FP16 etkileniyor. RTX 3070 Ti ile GA103 kartlar test edilmedi, bir RTX 3080 Ti 20GB OEM kart ise yarı hızda kalmaya devam etti. Blackwell tabanlı RTX 50 serisi desteklenmiyor; gpu-unlock geliştiricisi bu seriyi kapsam dışı olarak niteliyor.

Performans kazancı ne kadar

Tepe değerlerde en çarpıcı örnek RTX 4090. Ada çatalının geliştiricisinin ölçümünde kart, FP16'da 165,6 TFLOPS'tan 331,6 TFLOPS'a, BF16'da 165,5 TFLOPS'tan 330,6 TFLOPS'a çıktı. Ancak aynı projenin açıklamasındaki, bağımsız bir kullanıcının matris çarpımı testinde cuBLAS GEMM medyan iyileşmeleri FP16'da yüzde 12-34, BF16'da en fazla yüzde 20 oldu. Ayrı bir Windows portuyla test edilen tek bir RTX 4070 Ti'de matris çarpımı kazancı yüzde 80,1 ve yüzde 76,4'e ulaştı; farkın güç sınırlarından kaynaklanmış olabileceği belirtiliyor.

Değiştirilmiş bir Nvidia sürücüsüyle test eden bir kullanıcının RTX 3090 Ti'sinde kazanç FP16'da yüzde 35, BF16'da yüzde 80, TF32'de yüzde 94 oldu. gpu-unlock açıklamasındaki kullanıcı raporlarına göre BF16 matris çarpımında RTX 3090'da yüzde 25-67, RTX 3080 10GB'de yüzde 70-73, bellek modifikasyonlu 20GB sürümünde yüzde 56-59, RTX 3070'te yüzde 73-81 ve RTX 3060 12GB'de yaklaşık yüzde 80 artış görüldü; bu rakamların doğrudan karşılaştırılamayacağı da not düşülüyor. Güç sınırı "çok önemli": en düşük değer olan yüzde 25, 225 watt ile sınırlandırılmış kartlardan geldi. Ampere'de LLM prefill hızı yüzde 14-36 arttı, difüzyon ve FlashAttention hızlandı; LLM decode ve INT8 ise yaklaşık aynı kaldı.

22GB bellek modifikasyonlu, 250 watt ile sınırlı bir Dell OEM RTX 2080 Ti'de FP16 matris çarpımı kazancı matris boyutuna göre yüzde 36 ile 64 arasında değişti; 260 watt'lık bir kullanıcı varyantında ise yüzde 59 görüldü. KohakUnlock projesi, bir Leadtek 2080 Ti 22GB üzerinde komut hızı testinde yüzde 85 iyileşme, kilitli ikinci bir karta göre en iyi matris çarpımı medyanında ise yüzde 53 kazanç bildirdi. Projenin açıklamasında ise uygulama veya oyunlarda iki kat hızlanma iddiası bulunmadığı özellikle belirtiliyor.

Açık nasıl çalışıyor ve riskler

gpu-unlock açıklamasına göre hız sınırları, ana bilgisayar sürücüsünün yazamadığı iki "hız seçici" yazmacında tutuluyor. Nvidia'nın imzalı SEC2 "Booter" firmware'inde ise yığın tampon taşması var ve bu, "heavy secure" modunda kod çalıştırmaya imkân veriyor. Bu durum, Nvidia'nın bilinen bir genel test anahtarıyla şifrelenmiş bir hata ayıklama Booter'ı yayımlamasının ardından keşfedilmiş. V67 yüküyle yapılan 4 baytlık tek bir yazma işlemi yetki maskesini açıyor, ardından modül kartı Nvidia sürücüsü devreye girmeden önce sıfırlıyor. Altta yatan hata, Haziran'da Zenodo'da yayımlanan bir çalışmada tanımlanıyor ve CMP 170HX üzerinde bulunmuştu; yöntemin en bilinen kullanımı da bu karta yönelik CMP Unlocker.

Riskler de ortada. turing-unlock belgeleri modifikasyonun donanıma zarar verebileceğini söylüyor; KohakUnlock ise GPU'nun veya sistemin kilitlenebileceği, açılmayabileceği, verinin bozulabileceği ya da donanımın zarar görebileceği konusunda uyarıyor. Bu yüzden dikkatli olunması öneriliyor.