Intel presentó un nuevo chip con el que planea competirle de frente a NVIDIA en el terreno de la inteligencia artificial. El Gaudi 3 es un acelerador de IA que promete hasta 1,7 veces el rendimiento de entrenamiento y 50 % mejor inferencia que el H100. Lo mejor de todo es que sería hasta un 40 % más eficiente y costaría una fracción de lo que pagarías por un procesador de NVIDIA.
La compañía aprovechó el comienzo de su evento Vision 2024 para presentar sus próximos productos para inteligencia artificial. Gaudi 3 es un acelerador para entrenar y ejecutar modelos de lenguaje grande (LLM) y otras cargas complejas. De acuerdo con Intel, el chip cuenta con un aumento de 4 veces en el cómputo de IA para cargas de trabajo BF16 y un ancho de banda de memoria 1,5 veces más rápido en comparación con su predecesor (Gaudi 2).
Gaudi 3 está fabricado en el proceso de 5 nanómetros y permite operación paralela de todos sus motores, lo que se traduce en cálculos de aprendizaje profundo más rápidos y eficientes. Entre sus prestaciones se encuentran un motor dedicado a IA con 64 núcleos de procesamiento tensorial (TPC) y ocho motores de multiplicación de matrices (MME). Según Intel, cada MME puede realizar 64.000 operaciones paralelas, acelerando las tareas de aprendizaje profundo.
Sumado a eso, Gaudi 3 integra 128 GB de memoria HBM2E, un ancho de banda de 3.7TB y 96MB de SRAM integrada. Esta capacidad de memoria le permitiría procesar grandes conjuntos de datos de manera eficiente utilizando menos aceleradores. La nueva bestia de Intel puede conectarse a otros aceleradores a través de Ethernet, ya que cada unidad ofrece 24 puertos integrados de 200 Gb.
Todo esto suena muy bien, pero... ¿qué tal se desempeña frente al H100?
Gaudi 3 vs. H100: así supera Intel a NVIDIA en la inteligencia artificial
Durante la presentación de Gaudi 3 en Vision 2024, Intel ofreció algunas cifras de rendimiento de su nuevo acelerador de inteligencia artificial. El fabricante asegura que su chip ofrece importantes mejoras de rendimiento para tareas de capacitación e inferencia. Para ello, ha tomado como referencia un H100 en modelos como Llama 2 y GPT-3.
Según Intel, Gaudi 3 es hasta un 50 % más rápido en el tiempo de entrenamiento para modelos como Llama 2 (parámetros de 7B y 13B) y GPT-3 (parámetros de 175B). Además, el acelerador de Intel es hasta un 50 % más rápido en el rendimiento de inferencia y ofrece 40 % mejor eficiencia energética para modelos como Llama (parámetros de 7B y 70B) y Falcon (parámetros de 180B).
Cuando se compara con un H200 de NVIDIA, Gaudi 3 es hasta un 30 % más rápido en la inferencia para Llama (7B y 70B) y Falcon (180B).
Intel ofrecerá Gaudi 3 en dos variantes: la primera como una tarjeta el factor de forma que encontramos en otros sistemas de inteligencia artificial. Este modelo, con 128 GB de memoria HBM2E, se ofrece en grupos de ocho por cada nodo de servidor. Intel también lanzará Gaudi 3 como una tarjeta PCIe enfocada a cargas de trabajo como ajuste fino o inferencia. Esta variante cuenta con los mismos 128 GB de memoria y tiene un TDP de 600 vatios.
Intel confirmó que Gaudi 3 estará disponible para fabricantes como Dell, Lenovo, HP y Supermicro durante el segundo trimestre de 2024. Aquellas empresas que busquen adquirirlas de forma individual tendrán que esperar hasta el tercer trimestre del año, aunque el modelo PCIe llegará hasta finales de 2024.
Aunque Intel habló de un coste menor, no ofreció detalles sobre precios.