Da KI-Workloads immer anspruchsvoller werden, ist die Auswahl der richtigen DRAM-Konfiguration entscheidend für die Verbesserung der Leistung. Aber was ist wichtiger, Geschwindigkeit oder Kapazität? In diesem Artikel werden fünf verschiedene DRAM-Kits auf einem Gaming-/KI-PC getestet, um die beste DRAM-Konfiguration zu ermitteln.
Mit dem Tool Ollama werden verschiedene DRAM-Setups getestet, wobei Token pro Sekunde und Speichernutzung in drei großen Sprachmodellen (LLMs) gemessen werden.
Testaufbau
Die Testplattform besteht aus:
- CPU: Intel Core Ultra 9 285K
- Grafikprozessor: PNY XLR8 RTX 4090 24 GB
- Hauptplatine: ASRock Z890 Taichi
- SSD: CORSAIR MP700 2 TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
- DRAM-Konfigurationen:
- 2x16GB bei 6000 MT/s
CMH32GX5M2B6000Z30K - 2x24GB bei 8400 MT/s
CMHC48GX5M2X8400C40 - 2x32GB bei 6000 MT/s
CMP64GX5M2B6000C30 - 2x48GB bei 7000 MT/s
CMH96GX5M2B7000C40 - 4x48GB bei 5200 MT/s
CMH192GX5M4B5200C38
- 2x16GB bei 6000 MT/s
KI-Modelle
Es wurden drei LLMs (Large Language Models) unterschiedlicher Größe mit unterschiedlichem Speicherbedarf ausgewertet:
- Llama 3.2 (3B) – Ein leichtgewichtiges Modell, das für die meisten KI-PCs geeignet ist.
- Llama 3.1 (8B) – Ein Mittelklasse-Modell, das sowohl von Geschwindigkeit als auch von Kapazität profitiert.
- DeepSeek-R1 (70B) – Ein großes Modell, das die Grenzen von DRAMs auslotet.
Benchmarking-Methodik
Die verschiedenen Modelle wurden mit dem Ollama-Dienstprogramm geladen. Ollama bietet eine Token/Sekunden-Bewertung, um die Inferenzgeschwindigkeit zu messen. Die Speichernutzung wurde verfolgt, um zu ermitteln, wie verschiedene DRAM-Konfigurationen mit jedem Modell umgehen. Die getesteten Eingabeaufforderungen sind die folgenden:
- "Was sind die Vorteile von DDR5 gegenüber DDR4-Speicher?"
- "Schreibe eine Kurzgeschichte über eine KI-Revolution in einer Welt, in der Menschen und Maschinen koexistieren."
- "Erkläre das Konzept neuronaler Netze und wie sie trainiert werden, in einfachen Worten."
- "Erläutern Sie das Konzept des verstärkenden Lernens und wie es sich vom überwachten Lernen unterscheidet, und zwar anhand von Beispielen."
Schließlich wurde der Final Fantasy XIV Dawntrail-Benchmark getestet, um die Spieleleistung jeder DRAM-Konfiguration zu messen. Ziel ist es, die DRAM-Konfiguration zu ermitteln, die KI-Aufgaben und Spiele gleichzeitig bewältigen kann, ohne die Leistung zu beeinträchtigen.
Ergebnisse und Analyse
Abb. 1: Diese Grafik zeigt die Token/Sekunde für jede der DRAM-Konfigurationen, die in verschiedenen LLMs getestet wurden, wobei nur die CPU verwendet wurde.
Abb. 2: Leistung der getesteten DRAM-Konfigurationen, wenn die LLMs mit dem RTX 4090 laufen. Die Ergebnisse sind in Token/Sekunde angegeben.
Abb. 3: Messung der Speichernutzung des Systems bei Ausführung jedes LLM. CPU vs. CPU und GPU. Die Ergebnisse sind ca. in GB angegeben.
FFXIV Dawntrail-Benchmark für jede der getesteten DRAM-Konfigurationen.
Ein paar wichtige Beobachtungen zu den Ergebnissen.
Bei den Konfigurationen mit 32 GB und 48 GB konnte das Modell DeepSeek-R1 (70B) nicht eingesetzt werden, wenn nur die CPU verwendet wurde. Selbst bei Verwendung der RTX 4090 sind 32 GB DRAM bei Verwendung des 70b-Modells am Limit.
Die höhere Geschwindigkeit des 8400 MT/s CUDIMM-Kits übertrifft jede andere DRAM-Konfiguration beim Gaming, aber selbst bei einer RTX 4090, auf der ein großes KI-Modell läuft, ist nicht mehr viel Speicher verfügbar.
Welches DRAM-Kit ist das beste für KI?
- Nur für KI-Workloads: Es ist ziemlich unwahrscheinlich, dass jemand ein LLM ohne GPU betreibt, daher wäre ein DRAM-Kit mit mindestens 64 GB vorzuziehen. Idealerweise ist das 96-GB-DRAM-Kit die beste Wahl, um für den Fall, dass ein noch größeres LLM verwendet wird, zukunftssicher zu sein.
- Gaming + KI: Der 8400 MT/s ist hier der klare Gewinner. Obwohl das 64-GB-DRAM-Kit beim Gaming nicht weit dahinter liegt und die RTX 4090 zusätzlichen verfügbaren Systemspeicher bietet, ist dies hier die bevorzugte Wahl.
Schlussfolgerung
Bei KI-intensiven Arbeitslasten spielt die DRAM-Kapazität eine entscheidende Rolle, insbesondere bei größeren Modellen. Bei Hybridsystemen, die sowohl Gaming als auch KI verwalten, ist jedoch die Optimierung von Geschwindigkeit und Latenz ebenso wichtig. Da LLMs kontinuierlich für unterschiedliche Hardware optimiert werden und die Anforderungen reduziert werden, wäre es am besten, über zusätzliche Speicherkapazität zu verfügen, damit ein größeres Modell im System ausgeführt werden kann, um genauere Ergebnisse zu erzielen.
Aufgrund der oben genannten Überlegungen ist das DRAM-Kit der Wahl das CMH96GX5M2B7000C40.
PRODUKTE IM ARTIKEL