Alegerea celei mai bune DRAM pentru AI

Pe măsură ce volumele de lucru AI devin din ce în ce mai solicitante, selectarea configurației DRAM potrivite este esențială pentru îmbunătățirea performanței. Dar ce contează mai mult, viteza sau capacitatea? În acest articol, cinci kituri DRAM diferite vor fi evaluate pe un PC de jocuri/AI pentru a găsi cea mai bună configurație DRAM.

Diferite configurații DRAM vor fi testate cu ajutorul instrumentului Ollama, măsurând token-urile pe secundă și utilizarea memoriei în cadrul a trei modele lingvistice mari (LLM).

Platforma de testare constă din:

• PROCESOR: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Placă de bază: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• Configurații DRAM:
  • 2x16GB la 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB la 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32GB la 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48GB la 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB la 5200 MT/s
    CMH192GX5M4B5200C38

Au fost evaluate trei LLM (Large Language Models) de dimensiuni diferite, cu cerințe de memorie diferite:

• Llama 3.2 (3B) - Un model ușor potrivit pentru majoritatea PC-urilor AI.
• Llama 3.1 (8B) - Un model mid-range care beneficiază atât de viteză, cât și de capacitate.
• DeepSeek-R1 (70B) - Un model mare care depășește limitele DRAM.

Utilitarul Ollama a fost utilizat pentru a încărca diferitele modele. Ollama oferă un scor de tokens/secundă pentru a măsura viteza de inferență. Utilizarea memoriei a fost urmărită pentru a identifica modul în care diferite configurații DRAM gestionează fiecare model. Solicitările testate sunt următoarele:

• "Care sunt avantajele DDR5 față de memoria DDR4?"
• "Scrie o povestire despre o revoluție a inteligenței artificiale într-o lume în care oamenii și mașinile coexistă."
• "Explicați conceptul de rețele neuronale și modul în care acestea sunt antrenate în termeni simpli."
• "Explicați conceptul de învățare prin consolidare și modul în care acesta diferă de învățarea supravegheată, cu exemple."

În cele din urmă, benchmark-ul Final Fantasy XIV Dawntrail a fost testat pentru a măsura performanța de joc a fiecărei configurații DRAM. Scopul este de a descoperi configurația DRAM care poate face față sarcinilor AI și jocurilor în același timp, fără a compromite performanța.

Câteva observații importante privind rezultatele.

Configurațiile de 32 GB și 48 GB nu s-au putut potrivi modelului DeepSeek-R1 (70B) atunci când se utilizează doar CPU. Chiar și cu RTX 4090 utilizat, 32 GB de DRAM este la limită atunci când este utilizat modelul 70b.

Viteza mai mare a kitului CUDIMM de 8400 MT/s depășește orice altă configurație DRAM în jocuri, dar chiar și cu un RTX 4090 care rulează un model AI de dimensiuni mari, nu mai există multă memorie disponibilă.

• Doar sarcini de lucru AI: este destul de puțin probabil ca cineva să ruleze orice LLM fără GPU, astfel încât ar fi de preferat un kit DRAM de minim 64 GB. În mod ideal, kitul DRAM de 96 GB este cea mai bună alegere pentru a fi pregătiți pentru viitor în cazul în care va fi utilizat un LLM și mai mare.
• Gaming + AI: 8400 MT/s este câștigătorul evident aici. Deși kitul DRAM de 64 GB nu este cu mult în urmă în jocuri și deoarece RTX 4090 oferă acea memorie de sistem suplimentară disponibilă, aceasta este alegerea preferată aici.

Pentru volumele de lucru cu IA intensă, capacitatea DRAM joacă un rol esențial, în special în cazul modelelor mai mari. Cu toate acestea, pentru sistemele hibride care gestionează atât jocuri, cât și AI, optimizarea vitezei și latenței este la fel de importantă. Cu LLM-uri optimizate continuu pentru diferite hardware-uri și cerințele sunt reduse, cel mai bine ar fi să aveți o capacitate suplimentară de memorie, astfel încât un model mai mare să poată rula în sistem pentru a obține rezultate mai precise.

Pe baza considerațiilor prezentate mai sus, kitul DRAM ales este CMH96GX5M2B7000C40.