Haber Detayı
iPhone 17 Pro tüm sınırları zorladı! 400 milyar parametreli LLM çalıştırıyor
iPhone 17 Pro üzerinde 400 milyar parametreli bir yapay zeka modeli çalıştırıldı. Ancak bu başarı, ciddi performans sınırlamalarıyla birlikte geliyor.
Mobil cihazların yapay zeka tarafındaki kapasitesi son yıllarda ciddi şekilde artmış durumda ve özellikle yerel (on-device) modeller, gizlilik ve gecikme avantajları nedeniyle giderek daha fazla önem kazanıyor.
Bu alandaki en dikkat çekici örneklerden biri ise iPhone 17 Pro üzerinde gerçekleştirilen yeni bir deneme oldu.Normal şartlarda en az 200GB bellek gerektiren 400 milyar parametreli bir büyük dil modeli (LLM), iPhone 17 Pro üzerinde çalıştırıldı.
Bu noktada kritik detay, kullanılan yöntem.
Cihazın yalnızca 12 GB LPDDR5X RAM'e sahip olması nedeniyle model doğrudan belleğe yüklenmiyor.
Bunun yerine açık kaynaklı Flash-MoE yaklaşımıyla, modelin bir kısmı depolama biriminden GPU'ya aktarılıyor.
Ayrıca "Mixture of Experts" yapısı sayesinde her işlemde modelin tamamı değil, belirli bölümleri kullanılıyor.
Ancak bu başarı pratik kullanım anlamına gelmiyor.
Modelin üretim hızı oldukça düşük.iPhone 17 Pro, saniyede yalnızca 0.6 token üretebiliyor.
Bu da yaklaşık olarak her 1.5–2 saniyede bir kelime anlamına geliyor.
Buna ek olarak yoğun işlem yükü, batarya tüketimini de ciddi şekilde artırıyor.
Yine de bu deneme önemli bir kilometre taşı niteliğinde.
