Escolher a melhor DRAM para IA

À medida que as cargas de trabalho de IA se tornam mais exigentes, a seleção da configuração correta da DRAM é crucial para melhorar o desempenho. Mas o que é mais importante, velocidade ou capacidade? Neste artigo, cinco kits DRAM diferentes serão avaliados num PC de jogos/IA para encontrar a melhor configuração DRAM.

Serão testadas diferentes configurações de DRAM utilizando a ferramenta Ollama, medindo os tokens por segundo e a utilização de memória em três grandes modelos de linguagem (LLM).

A plataforma de ensaio é constituída por:

• CPU: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Placa-mãe: ASRock Z890 Taichi
• SSD: SSD CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2
• Configurações de DRAM:
  • 2x16GB a 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB a 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32GB a 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48GB a 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB a 5200 MT/s
    CMH192GX5M4B5200C38

Foram avaliados três LLMs (Large Language Models) de diferentes tamanhos e com diferentes exigências de memória:

• Llama 3.2 (3B) - Um modelo leve adequado para a maioria dos PCs com IA.
• Llama 3.1 (8B) - Um modelo de gama média que beneficia tanto da velocidade como da capacidade.
• DeepSeek-R1 (70B) - Um modelo grande que ultrapassa os limites da DRAM.

O utilitário Ollama foi utilizado para carregar os diferentes modelos. O Ollama fornece uma pontuação de tokens/segundo para medir a velocidade de inferência. A utilização da memória foi monitorizada para identificar o modo como as diferentes configurações de DRAM lidam com cada modelo. Os prompts testados são os seguintes:

• "Quais são as vantagens da memória DDR5 em relação à DDR4?"
• "Escrever um conto sobre uma revolução da IA num mundo onde coexistem humanos e máquinas."
• "Explicar o conceito de redes neuronais e como são treinadas em termos simples."
• "Explicar o conceito de aprendizagem por reforço e a sua diferença em relação à aprendizagem supervisionada, com exemplos."

Finalmente, o benchmark Final Fantasy XIV Dawntrail foi testado para medir o desempenho de jogo de cada configuração DRAM. O objetivo é descobrir a configuração DRAM que pode lidar com tarefas de IA e jogos ao mesmo tempo sem comprometer o desempenho.

Algumas observações importantes os resultados.

As configurações de 32 GB e 48 GB não foram capazes de se ajustar ao modelo DeepSeek-R1 (70B) ao usar apenas a CPU. Mesmo com a RTX 4090 usada, 32GB de DRAM está no limite quando o modelo 70b está em uso.

A velocidade mais elevada do kit CUDIMM de 8400 MT/s supera qualquer outra configuração de DRAM em jogos, mas mesmo com uma RTX 4090 a executar um modelo de IA de grande dimensão, não resta muita memória disponível.

• Apenas cargas de trabalho de IA: É bastante improvável que alguém execute qualquer LLM sem uma GPU, pelo que seria preferível um kit DRAM mínimo de 64 GB. Idealmente, o kit DRAM de 96 GB é a melhor escolha para estar preparado para o futuro, no caso de ser utilizado um LLM ainda maior.
• Jogos + IA: O 8400 MT/s é o vencedor óbvio aqui. Embora o kit DRAM de 64 GB não fique muito atrás nos jogos e uma vez que a RTX 4090 fornece essa memória de sistema extra disponível, esta é a escolha preferida.

Para cargas de trabalho pesadas de IA, a capacidade da DRAM desempenha um papel crítico, especialmente com modelos maiores. No entanto, para sistemas híbridos que gerem jogos e IA, a otimização da velocidade e da latência é igualmente importante. Com LLMs continuamente optimizados para diferentes hardwares e os requisitos são reduzidos, seria melhor ter capacidade de memória extra para que um modelo maior pudesse ser executado no sistema para obter resultados mais precisos.

Com base nas considerações descritas acima, o kit DRAM de escolha é o CMH96GX5M2B7000C40.