A medida que las cargas de trabajo de IA se vuelven más exigentes, seleccionar la configuración de DRAM adecuada es crucial para mejorar el rendimiento. Pero, ¿qué es más importante, la velocidad o la capacidad? En este artículo, se evaluarán cinco kits de DRAM diferentes en un PC para juegos/IA para encontrar la mejor configuración de DRAM.
Se probarán diferentes configuraciones de DRAM utilizando la herramienta Ollama, midiendo los tokens por segundo y el uso de memoria en tres grandes modelos de lenguaje (LLM).
Configuración de la prueba
La plataforma de prueba consta de:
- CPU: Intel Core Ultra 9 285K
- GPU: PNY XLR8 RTX 4090 24 GB
- Placa base: ASRock Z890 Taichi
- SSD: SSD CORSAIR MP700 de 2 TB PCIe 5.0 (Gen 5) x4 NVMe M.2
- Configuraciones de DRAM:
- 2x16 GB a 6000 MT/s
CMH32GX5M2B6000Z30K - 2x24 GB a 8400 MT/s
CMHC48GX5M2X8400C40 - 2x32 GB a 6000 MT/s
CMP64GX5M2B6000C30 - 2x48 GB a 7000 MT/s
CMH96GX5M2B7000C40 - 4x48 GB a 5200 MT/s
CMH192GX5M4B5200C38
- 2x16 GB a 6000 MT/s
Modelos de IA
Se evaluaron tres modelos de lenguaje de gran tamaño (LLM) de diferentes tamaños con diferentes demandas de memoria:
- Llama 3.2 (3B): un modelo ligero adecuado para la mayoría de los PC con Inteligencia Artificial.
- Llama 3.1 (8B): un modelo de gama media que se beneficia tanto de la velocidad como de la capacidad.
- DeepSeek-R1 (70B): un modelo de gran tamaño que supera los límites de la DRAM.
Metodología de evaluación comparativa
La utilidad Ollama se utilizó para cargar los diferentes modelos. Ollama proporciona una puntuación de tokens/segundo para medir la velocidad de inferencia. Se hizo un seguimiento del uso de la memoria para identificar cómo manejan cada modelo las diferentes configuraciones de DRAM. Los mensajes probados son los siguientes:
- «¿Cuáles son las ventajas de la memoria DDR5 frente a la DDR4?»
- «Escribe una historia corta sobre una revolución de la IA en un mundo donde los humanos y las máquinas coexisten».
- «Explique el concepto de redes neuronales y cómo se entrenan en términos sencillos».
- «Explique el concepto de aprendizaje por refuerzo y en qué se diferencia del aprendizaje supervisado, con ejemplos».
Por último, se probó el punto de referencia Final Fantasy XIV Dawntrail para medir el rendimiento de juego de cada configuración de DRAM. El objetivo es encontrar la configuración de DRAM que pueda manejar tareas de IA y juegos al mismo tiempo sin comprometer el rendimiento.
Resultados y análisis
Fig. 1: Este gráfico muestra los tokens/segundo para cada una de las configuraciones de DRAM probadas en diferentes LLM utilizando solo la CPU.
Fig. 2: Rendimiento de las configuraciones DRAM probadas cuando los LLM se ejecutan con la RTX 4090. Los resultados se expresan en tokens/segundo.
Fig. 3: Medición del uso de memoria del sistema mientras se ejecuta cada LLM. CPU frente a CPU y GPU. Los resultados son aprox. en GB.
Puntuación de referencia FFXIV Dawntrail para cada una de las configuraciones de DRAM probadas.
Algunas observaciones importantes sobre los resultados.
Las configuraciones de 32 GB y 48 GB no pudieron adaptarse al modelo DeepSeek-R1 (70B) cuando se utilizó solo la CPU. Incluso con la RTX 4090 utilizada, 32 GB de DRAM están al límite cuando se utiliza el modelo 70b.
La mayor velocidad del kit CUDIMM de 8400 MT/s supera a cualquier otra configuración de DRAM en juegos, pero incluso con una RTX 4090 ejecutando un modelo de IA de gran tamaño no queda mucha memoria disponible.
¿Qué kit DRAM es el mejor para IA?
- Solo cargas de trabajo de IA: es bastante improbable que alguien ejecute un LLM sin una GPU, por lo que sería preferible un kit DRAM de 64 GB como mínimo. Lo ideal es que el kit DRAM de 96 GB sea la mejor opción para estar preparado para el futuro en caso de que se utilice un LLM aún más grande.
- Juegos + IA: El 8400 MT/s es el claro ganador en este caso. Aunque el kit DRAM de 64 GB no se queda tan atrás en juegos y dado que la RTX 4090 proporciona esa memoria de sistema adicional disponible, esta es la opción preferida aquí.
Conclusión
Para cargas de trabajo con gran cantidad de IA, la capacidad de la DRAM desempeña un papel fundamental, especialmente en los modelos más grandes. Sin embargo, para los sistemas híbridos que gestionan tanto juegos como IA, la optimización de la velocidad y la latencia es igual de importante. Con los LLM optimizados continuamente para diferentes hardware y los requisitos reducidos, lo mejor sería tener capacidad de memoria adicional para que un modelo más grande pudiera ejecutarse en el sistema y lograr resultados más precisos.
Basándonos en las consideraciones expuestas anteriormente, el kit DRAM elegido es el CMH96GX5M2B7000C40.
REGISTRO DE PRODUCTOS