Haber Detayı
Bellek yükünü 6 kat hafifleten teknoloji
Yapay zeka modellerinin bellek tüketimi şirketlerin en büyük baş ağrılarından biri. Google araştırmacıları söz konusu darboğazı aşmak için TurboQuant adını verdikleri yeni bir sıkıştırma algoritması geliştirdi.
Googlea göre modeller büyüdükçe donanımlar arasındaki veri trafiğinde ciddi bir tıkanıklık yaratıyor.Özellikle uzun metinler işlenirken modelin hafızasında tutması gereken Key-Value Cache yani anahtar…
