Yapay Zeka için En İyi DRAM'i Seçme

Yapay zeka iş yükleri daha zorlu hale geldikçe, doğru DRAM yapılandırmasını seçmek performansı artırmak için çok önemlidir. Ama hangisi daha önemli, hız mı kapasite mi? Bu makalede, en iyi DRAM yapılandırmasını bulmak için bir oyun/AI bilgisayarında beş farklı DRAM kiti değerlendirilecektir.

Farklı DRAM kurulumları Ollama aracı kullanılarak test edilecek ve üç büyük dil modelinde (LLM) saniye başına belirteçler ve bellek kullanımı ölçülecektir.

Test platformu şunlardan oluşur:

• İŞLEMCI: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Anakart: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• DRAM Yapılandırmaları:
  • 6000 MT/s hızında 2x16GB
    CMH32GX5M2B6000Z30K
  • 8400 MT/s'de 2x24GB
    CMHC48GX5M2X8400C40
  • 6000 MT/s hızında 2x32GB
    CMP64GX5M2B6000C30
  • 7000 MT/s hızında 2x48GB
    CMH96GX5M2B7000C40
  • 5200 MT/s'de 4x48GB
    CMH192GX5M4B5200C38

Farklı bellek taleplerine sahip çeşitli boyutlardaki üç LLM (Büyük Dil Modeli) değerlendirilmiştir:

• Llama 3.2 (3B) - Çoğu AI PC için uygun hafif bir model.
• Llama 3.1 (8B) - Hem hız hem de kapasiteden yararlanan orta sınıf bir model.
• DeepSeek-R1 (70B) - DRAM sınırlarını zorlayan büyük bir model.

Farklı modelleri yüklemek için Ollama yardımcı programı kullanılmıştır. Ollama, çıkarım hızını ölçmek için bir belirteç/saniye puanı sağlar. Farklı DRAM konfigürasyonlarının her bir modeli nasıl işlediğini belirlemek için bellek kullanımı izlenmiştir. Test edilen istemler aşağıdaki gibidir:

• "DDR5'in DDR4 belleğe göre avantajları nelerdir?"
• "İnsanların ve makinelerin bir arada yaşadığı bir dünyada yapay zeka devrimi hakkında kısa bir hikaye yazın."
• "Sinir ağları kavramını ve nasıl eğitildiklerini basit terimlerle açıklayın."
• "Pekiştirmeli öğrenme kavramını ve denetimli öğrenmeden farkını örneklerle açıklayınız."

Son olarak, her bir DRAM yapılandırmasının oyun performansını ölçmek için Final Fantasy XIV Dawntrail kıyaslaması test edilmiştir. Amaç, performanstan ödün vermeden yapay zeka görevlerini ve oyun oynamayı aynı anda gerçekleştirebilecek DRAM yapılandırmasını bulmaktır.

Sonuçlarla ilgili birkaç önemli gözlem.

32GB ve 48GB konfigürasyonlar, yalnızca CPU kullanıldığında DeepSeek-R1 (70B) modeline sığmadı. RTX 4090 kullanıldığında bile, 70b modeli kullanıldığında 32GB DRAM sınırda kalıyor.

Yüksek hızlı 8400 MT/s CUDIMM kiti, oyunlarda diğer tüm DRAM yapılandırmalarından daha iyi performans gösteriyor ancak büyük boyutlu bir AI modeli çalıştıran bir RTX 4090 ile bile geriye çok fazla kullanılabilir bellek kalmıyor.

• Yalnızca AI İş Yükleri: Birisinin GPU olmadan herhangi bir LLM çalıştırması pek olası değildir, bu nedenle en az 64GB DRAM kiti tercih edilir. İdeal olarak, 96GB DRAM kiti, daha büyük bir LLM kullanılması durumunda geleceğe hazır olmak için en iyi seçimdir.
• Oyun + Yapay Zeka: 8400 MT/s burada bariz kazanan. Her ne kadar 64GB DRAM kiti oyunlarda çok geride olmasa da ve RTX 4090 ekstra kullanılabilir sistem belleği sağladığından, burada tercih edilen seçim budur.

Yapay zeka ağırlıklı iş yükleri için DRAM kapasitesi, özellikle daha büyük modellerde kritik bir rol oynar. Ancak hem oyun hem de yapay zekayı yöneten hibrit sistemler için hız ve gecikme optimizasyonu da bir o kadar önemlidir. LLM'ler farklı donanımlar için sürekli olarak optimize edildiğinde ve gereksinimler azaldığında, daha doğru sonuçlar elde etmek için daha büyük bir modelin sistemde çalışabilmesi için ekstra bellek kapasitesine sahip olmak en iyisi olacaktır.

Yukarıda özetlenen hususlara dayanarak, tercih edilen DRAM kiti CMH96GX5M2B7000C40'tır.