At vælge den bedste DRAM til AI

Efterhånden som AI-arbejdsbelastninger bliver mere krævende, er det afgørende at vælge den rigtige DRAM-konfiguration for at forbedre ydeevnen. Men hvad betyder mest, hastighed eller kapacitet? I denne artikel vil fem forskellige DRAM-kits blive evalueret på en gaming/AI-pc for at finde den bedste DRAM-konfiguration.

Forskellige DRAM-opsætninger vil blive testet ved hjælp af Ollama-værktøjet, der måler tokens pr. sekund og hukommelsesforbrug på tværs af tre store sprogmodeller (LLM'er).

Testplatformen består af:

• CPU: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Bundkort: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• DRAM-konfigurationer:
  • 2x16GB ved 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB ved 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32GB ved 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48GB ved 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB ved 5200 MT/s
    CMH192GX5M4B5200C38

Tre LLM'er (Large Language Models) af varierende størrelse med forskellige hukommelseskrav blev evalueret:

• Llama 3.2 (3B) - En letvægtsmodel, der passer til de fleste AI-pc'er.
• Llama 3.1 (8B) - En mellemklassemodel, der nyder godt af både hastighed og kapacitet.
• DeepSeek-R1 (70B) - En stor model, der skubber til DRAM-grænserne.

Ollama-værktøjet blev brugt til at indlæse de forskellige modeller. Ollama giver en tokens/sekund-score til at måle inferenshastigheden. Hukommelsesforbruget blev sporet for at identificere, hvordan forskellige DRAM-konfigurationer håndterer hver model. De testede prompter er følgende:

• "Hvad er fordelene ved DDR5 i forhold til DDR4-hukommelse?"
• "Skriv en novelle om en AI-revolution i en verden, hvor mennesker og maskiner lever side om side."
• "Forklar begrebet neurale netværk, og hvordan de trænes i enkle vendinger."
• "Forklar begrebet reinforcement learning, og hvordan det adskiller sig fra supervised learning, med eksempler."

Endelig blev Final Fantasy XIV Dawntrail-benchmark testet for at måle spilydelsen for hver DRAM-konfiguration. Målet er at finde frem til den DRAM-konfiguration, der kan håndtere AI-opgaver og gaming på samme tid uden at gå på kompromis med ydeevnen.

Et par vigtige observationer af resultaterne.

32GB- og 48GB-konfigurationer kunne ikke passe til DeepSeek-R1 (70B)-modellen, når man kun bruger CPU'en. Selv med RTX 4090 er 32 GB DRAM på grænsen, når 70b-modellen er i brug.

Den højere hastighed på 8400 MT/s CUDIMM-sættet overgår enhver anden DRAM-konfiguration i spil, men selv med en RTX 4090, der kører en stor AI-model, er der ikke meget ledig hukommelse tilbage.

• Kun AI-arbejdsbelastninger: Det er ret usandsynligt, at nogen vil køre en LLM uden en GPU, så et minimum af et 64 GB DRAM-sæt vil være at foretrække. Ideelt set er 96 GB DRAM-sættet det bedste valg for at være fremtidssikret, hvis der skal bruges en endnu større LLM.
• Gaming + AI: 8400 MT/s er den åbenlyse vinder her. Selvom 64 GB DRAM-sættet ikke er så langt bagefter i spil, og da RTX 4090 giver den ekstra tilgængelige systemhukommelse, er dette det foretrukne valg her.

Til AI-tunge arbejdsbelastninger spiller DRAM-kapacitet en afgørende rolle, især med større modeller. Men for hybridsystemer, der håndterer både gaming og AI, er optimering af hastighed og latenstid lige så vigtig. Når LLM'er løbende optimeres til forskellig hardware, og kravene reduceres, ville det være bedst at have ekstra hukommelseskapacitet, så en større model kunne køre i systemet for at opnå mere nøjagtige resultater.

Baseret på ovenstående overvejelser er det valgte DRAM-kit CMH96GX5M2B7000C40.