BLOG

AI에 가장 적합한 DRAM 선택하기

Last updated:

  이 페이지는 DeepL 에서 자동으로 번역되었습니다. Switch to English

AI 작업량이 늘어남에 따라, 성능 향상을 위해서는 올바른 DRAM 구성을 선택하는 것이 중요합니다. 그러나 더 중요한 것은 속도 또는 용량입니까? 이 기사에서는 게임/AI PC에서 5가지 다른 DRAM 키트를 평가하여 최고의 DRAM 구성을 찾아봅니다.

Ollama 도구를 사용하여 세 가지 대규모 언어 모델(LLM)에 걸쳐 초당 토큰 수와 메모리 사용량을 측정하는 다양한 DRAM 설정을 테스트할 것입니다.

테스트 설정

테스트 플랫폼은 다음으로 구성되어 있습니다:

AI 모델

메모리 요구량이 다른 다양한 크기의 세 가지 LLM(Large Language Models)을 평가했습니다.

  • Llama 3.2 (3B) – 대부분의 AI PC에 적합한 경량 모델입니다.
  • Llama 3.1 (8B) – 속도와 용량 모두에서 장점을 가진 중급 모델입니다.
  • DeepSeek-R1 (70B) – DRAM의 한계를 뛰어넘는 대형 모델.

벤치마킹 방법론

Ollama 유틸리티는 다양한 모델을 로드하는 데 사용되었습니다. Ollama는 추론 속도를 측정하기 위해 초당 토큰 수를 제공합니다. 메모리 사용량을 추적하여 다양한 DRAM 구성이 각 모델을 어떻게 처리하는지 확인했습니다. 테스트한 프롬프트는 다음과 같습니다.

  • "DDR4 메모리보다 DDR5 메모리의 장점은 무엇인가요?"
  • "인간과 기계가 공존하는 세상에서 AI 혁명을 주제로 한 짧은 이야기를 써 보세요."
  • "신경망의 개념과 그것이 어떻게 훈련되는지를 간단한 용어로 설명해 주세요."
  • "강화 학습의 개념과 그것이 지도 학습과 어떻게 다른지 예를 들어 설명해 주세요."

마지막으로, 파이널 판타지 14: 다크 트레일 벤치마크를 테스트하여 각 DRAM 구성의 게임 성능을 측정했습니다. 목표는 성능 저하 없이 AI 작업과 게임을 동시에 처리할 수 있는 DRAM 구성을 찾는 것입니다.

결과 및 분석

dd2dcdb7-3e61-4cdf-8de9-58c9a6e10923

그림 1: 이 도표는 CPU만을 활용하는 다른 LLM에서 테스트된 각 DRAM 구성의 초당 토큰 수를 보여줍니다.

7880e64e-2639-4fec-a5ba-493f2957a2b6

그림 2: RTX 4090에서 LLM을 실행할 때 테스트한 DRAM 구성의 성능. 결과는 초당 토큰 수로 표시됩니다.

b4aa9215-4486-4ce7-9928-2da5e50e33e8

그림 3: 각 LLM을 실행하는 동안 시스템 메모리 사용량을 측정했습니다. CPU vs CPU 및 GPU. 결과는 약 GB 단위입니다.

a2844437-6d97-4179-8d2d-4b58dde4b14d

테스트된 각 DRAM 구성에 대한 FFXIV Dawntrail 벤치마크.

몇 가지 중요한 관찰 결과.

32GB와 48GB 구성은 CPU만 사용할 때 DeepSeek-R1(70B) 모델에 맞지 않았습니다. RTX 4090을 사용하더라도 70b 모델을 사용할 때는 32GB의 DRAM이 한계에 달합니다.

8400 MT/s CUDIMM 키트의 빠른 속도는 게임에서 다른 어떤 DRAM 구성보다 뛰어납니다. 그러나 RTX 4090이 큰 크기의 AI 모델을 실행하는 경우에도 사용 가능한 메모리가 많이 남아 있지 않습니다.

인공지능에 가장 적합한 DRAM 키트는 무엇입니까?

  • AI 작업량 전용: GPU 없이 LLM을 실행하는 경우는 거의 없기 때문에 최소 64GB DRAM 키트를 사용하는 것이 좋습니다. 더 큰 LLM을 사용할 경우를 대비하여 미래에 대비할 수 있는 최선의 선택은 96GB DRAM 키트입니다.
  • 게임 + AI: 8400 MT/s가 확실한 승자입니다. 64GB DRAM 키트가 게임에서 크게 뒤처지지는 않지만, RTX 4090이 추가 시스템 메모리를 제공하기 때문에 이 키트가 선호되는 선택입니다.

결론

AI가 많이 사용되는 작업의 경우, 특히 더 큰 모델의 경우, DRAM 용량이 중요한 역할을 합니다. 그러나 게임과 AI를 모두 관리하는 하이브리드 시스템의 경우, 속도 및 지연 시간 최적화가 중요합니다. LLM이 다양한 하드웨어에 맞게 지속적으로 최적화되고 요구 사항이 줄어들면, 더 큰 모델이 시스템에서 실행되어 더 정확한 결과를 얻을 수 있도록 추가 메모리 용량을 확보하는 것이 가장 좋습니다.

위에서 설명한 사항을 고려할 때, 선택 가능한 DRAM 키트는 CMH96GX5M2B7000C40입니다.

기사 내 제품

관련 콘텐츠