El CEO de Tesla y propietario de Twitter/X, Elon Musk, anunció el lunes que su startup de IA, xAI, había comenzado oficialmente a entrenar su supercomputadora Memphis, lo que describe como «el clúster de entrenamiento de IA más poderoso del mundo».
Una vez que esté en pleno funcionamiento, Musk planea usarlo para construir «la IA más poderosa del mundo según todas las métricas para diciembre de este año», que presumiblemente será Grok 3.
Nice work by @xAI team, @X team, @Nvidia & ing companies getting Memphis Supercluster training started at ~4:20am local time.
With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!
— Elon Musk (@elonmusk) July 22, 2024
La «Gigafactory of Compute» de xAI, donde se aloja la supercomputadora, está ubicada en una antigua planta de producción de Electrolux en Memphis, Tennessee, y se anunció el mes pasado. Según Musk, el clúster de entrenamiento utilizará 100.000 GPU H100 de Nvidia. Estos se basan en la microarquitectura Hopper en una red aproximadamente cuatro veces más grande que los clústeres actuales de última generación. Entre ellas se encuentran la GPU Intel Aurora de 60k en el Argonne National Lab, la GPU Frontier de AMD de ~38k en Oak Ridge y la Eagle de Microsoft, que ejecuta 14.400 GPU NVIDIA H100.
La apertura de este centro de capacitación constituye la mayor inversión de capital de una empresa nueva en el mercado en la historia de Memphis, según el presidente y director ejecutivo de la Cámara de Comercio de Memphis, Ted Townsend. La supercomputadora se utilizará «para alimentar y financiar el espacio de IA para todas sus empresas [de Musk] primero, obviamente con Tesla y SpaceX», dijo. «Si puedes imaginar el poder computacional necesario para colocar humanos en la superficie de Marte, eso va a suceder aquí en Memphis».
Sin embargo, a pesar de la inversión multimillonaria de xAI, se espera que la instalación solo genere unos pocos cientos de puestos de trabajo locales. Además, «[la Autoridad del Valle de Tennessee] no tiene un contrato vigente con xAI», según un informe de WREG.
«Están trabajando con xAI y nuestros socios en [Memphis Light, Gas and Water] en los detalles de la propuesta y las necesidades de demanda de electricidad». La TVA también señaló que cualquier proyecto de más de 100 megavatios (MW) necesita su aprobación para conectarse a la red eléctrica del estado. La instalación de Musk podría consumir hasta 150 MW durante el pico de uso, estima el presidente de MLGW, Doug McGowen.
