Het beste DRAM voor AI kiezen

Naarmate AI-werklasten veeleisender worden, is het kiezen van de juiste DRAM-configuratie cruciaal voor het verbeteren van de prestaties. Maar wat is belangrijker, snelheid of capaciteit? In dit artikel worden vijf verschillende DRAM-kits geëvalueerd op een gaming/AI-pc om de beste DRAM-configuratie te vinden.

Verschillende DRAM-opstellingen worden getest met het programma Ollama, waarbij tokens per seconde en geheugengebruik worden gemeten voor drie grote taalmodellen (LLM's).

Het testplatform bestaat uit:

• CPU: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Moederbord: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• DRAM-configuraties:
  • 2x16 GB bij 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24 GB bij 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32 GB bij 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48 GB bij 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48 GB bij 5200 MT/s
    CMH192GX5M4B5200C38

Drie LLM's (Large Language Models) van verschillende groottes met verschillende geheugeneisen werden geëvalueerd:

• Llama 3.2 (3B) - Een lichtgewicht model dat geschikt is voor de meeste AI-pc's.
• Llama 3.1 (8B) - Een model uit het middensegment dat profiteert van zowel snelheid als capaciteit.
• DeepSeek-R1 (70B) - Een groot model dat de grenzen van DRAM verlegt.

Het hulpprogramma Ollama werd gebruikt om de verschillende modellen te laden. Ollama geeft een tokens/seconde-score om de inferentiesnelheid te meten. Het geheugengebruik werd bijgehouden om te zien hoe verschillende DRAM-configuraties met elk model omgaan. De volgende prompts werden getest:

• "Wat zijn de voordelen van DDR5 ten opzichte van DDR4-geheugen?"
• "Schrijf een kort verhaal over een AI-revolutie in een wereld waar mensen en machines naast elkaar bestaan."
• "Leg in eenvoudige bewoordingen het concept van neurale netwerken uit en hoe ze getraind worden."
• "Leg het concept van versterkingsleren uit en hoe het verschilt van leren onder toezicht, met voorbeelden."

Tot slot werd Final Fantasy XIV Dawntrail-benchmark getest om de gamingprestaties van elke DRAM-configuratie te meten. Het doel is om de DRAM-configuratie te vinden die tegelijkertijd AI-taken en gaming aankan zonder dat dit ten koste gaat van de prestaties.

Enkele belangrijke observaties van de resultaten.

Configuraties van 32 GB en 48 GB waren niet geschikt voor het DeepSeek-R1 (70B) model wanneer alleen de CPU werd gebruikt. Zelfs met de RTX 4090 is 32 GB DRAM op het randje wanneer het 70b-model wordt gebruikt.

De hogere snelheid van de 8400 MT/s CUDIMM-kit presteert beter dan elke andere DRAM-configuratie in gaming, maar zelfs met een RTX 4090 die een groot AI-model uitvoert is er niet veel beschikbaar geheugen over.

• Alleen AI-werklasten: Het is vrij onwaarschijnlijk dat iemand een LLM zal draaien zonder GPU, dus een DRAM-kit van minimaal 64 GB verdient de voorkeur. Idealiter is een DRAM-kit van 96 GB de beste keuze om toekomstbestendig te zijn voor het geval er een nog grotere LLM wordt gebruikt.
• Gaming + AI: De 8400 MT/s is hier de duidelijke winnaar. Hoewel de DRAM-kit van 64 GB niet zo ver achterblijft op het gebied van gaming en omdat de RTX 4090 extra beschikbaar systeemgeheugen biedt, heeft dit hier de voorkeur.

Voor AI-intensieve werklasten speelt DRAM-capaciteit een cruciale rol, vooral bij grotere modellen. Voor hybride systemen die zowel gaming als AI beheren, is optimalisatie van snelheid en latentie echter net zo belangrijk. Als LLM's voortdurend worden geoptimaliseerd voor verschillende hardware en de vereisten worden verlaagd, is het het beste om extra geheugencapaciteit te hebben zodat een groter model in het systeem kan draaien om nauwkeurigere resultaten te behalen.

Op basis van bovenstaande overwegingen is de DRAM-kit van keuze de CMH96GX5M2B7000C40.