BLOG

Choisir la meilleure DRAM pour l'IA

Last updated: mars 03, 2025

Cette page a été traduite automatiquement par DeepL. Switch to English

Alors que les charges de travail de l'IA deviennent de plus en plus exigeantes, le choix de la bonne configuration de DRAM est crucial pour améliorer les performances. Mais qu'est-ce qui compte le plus, la vitesse ou la capacité ? Dans cet article, cinq kits de DRAM différents seront évalués sur un PC de jeu/IA afin de trouver la meilleure configuration de DRAM.

Différentes configurations de DRAM seront testées à l'aide de l'outil Ollama, qui mesure les jetons par seconde et l'utilisation de la mémoire sur trois grands modèles de langage (LLM).

Configuration du test

La plate-forme de test se compose de :

Processeur : Intel Core Ultra 9 285K
GPU : PNY XLR8 RTX 4090 24 Go
Carte mère : ASRock Z890 Taichi
SSD : SSD CORSAIR MP700 2 To PCIe 5.0 (Gen 5) x4 NVMe M.2
Configurations DRAM :
- 2x16 Go à 6 000 MT/s
  CMH32GX5M2B6000Z30K
- 2x24 Go à 8 400 MT/s
  CMHC48GX5M2X8400C40
- 2 x 32 Go à 6 000 MT/s
  CMP64GX5M2B6000C30
- 2x48 Go à 7 000 MT/s
  CMH96GX5M2B7000C40
- 4x48 Go à 5200 MT/s
  CMH192GX5M4B5200C38

Modèles d'IA

Trois modèles de langage de grande taille (LLM) de tailles différentes et avec des exigences de mémoire différentes ont été évalués :

Llama 3.2 (3B) – Un modèle léger adapté à la plupart des PC AI.
Llama 3.1 (8B) – Un modèle de milieu de gamme qui bénéficie à la fois de vitesse et de capacité.
DeepSeek-R1 (70B) – Un modèle de grande taille qui repousse les limites de la DRAM.

Méthodologie de l'analyse comparative

L'utilitaire Ollama a été utilisé pour charger les différents modèles. Ollama fournit un score de jetons/seconde pour mesurer la vitesse d'inférence. L'utilisation de la mémoire a été suivie pour identifier comment les différentes configurations de DRAM gèrent chaque modèle. Les invites testées sont les suivantes :

« Quels sont les avantages de la mémoire DDR5 par rapport à la mémoire DDR4 ? »
« Écrivez une nouvelle sur une révolution de l'IA dans un monde où les humains et les machines coexistent. »
« Expliquez le concept de réseaux neuronaux et comment ils sont entraînés en termes simples. »
« Expliquez le concept d'apprentissage par renforcement et en quoi il diffère de l'apprentissage supervisé, à l'aide d'exemples. »

Enfin, le benchmark Final Fantasy XIV Dawntrail a été testé pour mesurer les performances de jeu de chaque configuration DRAM. L'objectif est de trouver la configuration DRAM capable de gérer les tâches d'IA et les jeux en même temps sans compromettre les performances.

Résultats et analyse

Fig. 1 : Ce graphique montre les jetons/seconde pour chacune des configurations DRAM testées dans différents LLM utilisant uniquement le CPU.

Fig. 2 : Performances des configurations DRAM testées lorsque les LLM fonctionnent avec le RTX 4090. Les résultats sont exprimés en jetons/seconde.

Fig. 3 : Mesure de l'utilisation de la mémoire système lors de l'exécution de chaque LLM. CPU vs CPU et GPU. Les résultats sont approximatifs en Go.

Benchmark FFXIV Dawntrail pour chacune des configurations DRAM testées.

Quelques observations importantes les résultats.

Les configurations de 32 Go et 48 Go ne pouvaient pas s'adapter au modèle DeepSeek-R1 (70B) lorsque le processeur seul était utilisé. Même avec le RTX 4090, 32 Go de DRAM sont à la limite lorsque le modèle 70b est utilisé.

La vitesse plus élevée du kit CUDIMM à 8 400 MT/s surpasse celle de toute autre configuration DRAM dans les jeux, mais même avec une RTX 4090 exécutant un modèle d'IA de grande taille, il ne reste pas beaucoup de mémoire disponible.

Quel kit DRAM est le mieux adapté à l'IA ?

Uniquement pour les charges de travail IA : il est peu probable que quelqu'un exécute un LLM sans GPU, donc un kit DRAM d'au moins 64 Go serait préférable. Idéalement, le kit DRAM de 96 Go est le meilleur choix pour être à l'épreuve du temps au cas où un LLM encore plus grand serait utilisé.
Jeux + IA : La 8400 MT/s est clairement la gagnante ici. Bien que le kit DRAM de 64 Go ne soit pas si loin derrière dans les jeux et que la RTX 4090 fournisse cette mémoire système supplémentaire disponible, c'est le choix préféré ici.

Conclusion

Pour les charges de travail à forte composante IA, la capacité de la DRAM joue un rôle essentiel, en particulier avec les modèles plus volumineux. Cependant, pour les systèmes hybrides gérant à la fois les jeux et l'IA, l'optimisation de la vitesse et de la latence est tout aussi importante. Les LLM étant continuellement optimisés pour différents matériels et les exigences étant réduites, il serait préférable de disposer d'une capacité de mémoire supplémentaire afin qu'un modèle plus volumineux puisse fonctionner dans le système pour obtenir des résultats plus précis.

Sur la base des considérations exposées ci-dessus, le kit DRAM de choix est le CMH96GX5M2B7000C40.