Scegliere la migliore DRAM per l'IA

Poiché i carichi di lavoro dell'IA diventano sempre più impegnativi, la scelta della giusta configurazione DRAM è fondamentale per migliorare le prestazioni. Ma cosa conta di più, la velocità o la capacità? In questo articolo, cinque diversi kit DRAM saranno valutati su un PC da gioco/IA per trovare la migliore configurazione DRAM.

Verranno testate diverse configurazioni DRAM utilizzando lo strumento Ollama, misurando i token al secondo e l'utilizzo della memoria su tre grandi modelli linguistici (LLM).

La piattaforma di prova è composta da:

• CPU: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Scheda madre: ASRock Z890 Taichi
• SSD: SSD CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2
• Configurazioni DRAM:
  • 2x16GB a 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB a 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32 GB a 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48 GB a 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48 GB a 5200 MT/s
    CMH192GX5M4B5200C38

Sono stati valutati tre LLM (Large Language Model) di varie dimensioni con diverse esigenze di memoria:

• Llama 3.2 (3B) – Un modello leggero adatto alla maggior parte dei PC AI.
• Llama 3.1 (8B) – Un modello di fascia media che offre vantaggi sia in termini di velocità che di capacità.
• DeepSeek-R1 (70B) – Un modello di grandi dimensioni che spinge i limiti della DRAM.

L'utilità Ollama è stata utilizzata per caricare i diversi modelli. Ollama fornisce un punteggio gettoni/secondo per misurare la velocità di inferenza. L'utilizzo della memoria è stato monitorato per identificare come le diverse configurazioni DRAM gestiscono ogni modello. I prompt testati sono i seguenti:

• "Quali sono i vantaggi della memoria DDR5 rispetto alla DDR4?"
• "Scrivi un racconto su una rivoluzione dell'IA in un mondo in cui uomini e macchine coesistono."
• "Spiegare in termini semplici il concetto di reti neurali e come vengono addestrate."
• "Spiegare il concetto di apprendimento per rinforzo e in che modo differisce dall'apprendimento supervisionato, con esempi."

Infine, è stato testato il benchmark Final Fantasy XIV Dawntrail per misurare le prestazioni di gioco di ciascuna configurazione DRAM. L'obiettivo è quello di scoprire la configurazione DRAM in grado di gestire contemporaneamente le attività di intelligenza artificiale e il gioco senza compromettere le prestazioni.

Alcune osservazioni importanti i risultati.

Le configurazioni da 32 GB e 48 GB non erano in grado di adattarsi al modello DeepSeek-R1 (70B) quando si utilizzava solo la CPU. Anche con l'RTX 4090, 32 GB di DRAM sono al limite quando si utilizza il modello 70b.

La maggiore velocità del kit CUDIMM da 8400 MT/s supera qualsiasi altra configurazione DRAM nei giochi, ma anche con una RTX 4090 che esegue un modello AI di grandi dimensioni non rimane molta memoria disponibile.

• Solo carichi di lavoro IA: è piuttosto improbabile che qualcuno esegua un LLM senza una GPU, quindi sarebbe preferibile un kit DRAM minimo da 64 GB. Idealmente, il kit DRAM da 96 GB è la scelta migliore per essere a prova di futuro nel caso in cui venga utilizzato un LLM ancora più grande.
• Gaming + IA: l'8400 MT/s è il vincitore indiscusso in questo caso. Anche se il kit DRAM da 64 GB non è poi così lontano nel gaming e poiché l'RTX 4090 fornisce quella memoria di sistema extra disponibile, questa è la scelta preferita in questo caso.

Per i carichi di lavoro pesanti in ambito IA, la capacità della DRAM gioca un ruolo fondamentale, soprattutto con i modelli più grandi. Tuttavia, per i sistemi ibridi che gestiscono sia i giochi che l'IA, l'ottimizzazione della velocità e della latenza è altrettanto importante. Con gli LLM continuamente ottimizzati per diversi hardware e i requisiti ridotti, sarebbe meglio avere una capacità di memoria extra in modo che un modello più grande possa funzionare nel sistema per ottenere risultati più accurati.

Sulla base delle considerazioni sopra esposte, il kit DRAM scelto è il CMH96GX5M2B7000C40.