El lado oscuro de la tecnología para IA de Nvidia

Nvidia es la empresa de moda. Hasta mi viejo sabe que hay que comprar acciones de ellos ya que viene creciendo desde que salió la TNT2 hace más de 20 años pero que desde que la IA comenzó a expandirse como un reguero de pólvora la venta de sus placas dedicadas y por ende hardware específico para IA aumentaron de una manera exponencial.

Nvidia es el futuro. Es una empresa que crea tecnología increíble, sí, pero hay algo de lo que no se habla demasiado ya que pareciera quedar escondido o lo quieren meter abajo de la alfombra y es el consumo energético de sus productos.

Nvidia tiene una suerte (había escrito otra cosa) a prueba de balas. Se dedicaba a hacer placas de vídeo como Creative se dedicaba a hacer placas de audio, pero la pegó durante un montón de años porque a un japonés se le ocurrió una moneda digital que se minaba con dispositivos que tenían que ser buenos calculando matrices. Y ahora, con todo el conocimiento (y los billones ganados) usa la misma estrategia para hacer pensar de una manera bastante humana a las computadoras.

El costo de semejante bestialidad de procesamiento, siempre, pero siempre, va a ser la energía. Esto va a ir mejorando, claro, pero a la vez mientras más mejora la eficiencia también se agrega capacidad de procesamiento (FLOPS) por lo que va a terminar siendo lo mismo. Es probable que durante años este tipo de tecnología siga mejorando a nivel eficiencia energética pero al querer exprimirla más y más va a terminar consumiendo la misma cantidad de energía o más. Algo así vemos en el mundo de los procesadores, donde hace 20 años nos asustaba un Pentium 4 Extreme Edition que consumía 100 Watts y hoy un Core i9 13900EK llega a los 375 Watts de pico, aunque, obviamente, la capacidad de procesamiento debe ser 100 veces mayor mientras que el consumo aumentó 3,75 veces.

Luego de enterarme de las últimas novedades de la empresa de moda, se me ocurrió investigar un poco sobre el consumo de los nuevos bichos diseñados específicamente para Inteligencia Artificial ya que hay toda una arquitectura diseñada exclusivamente para datacenters y me encontré con el hecho de que cada rack Nvidia NVL72 consume 120kW de potencia.

120kW de potencia es mucha energía, pero lo realmente divertido es enterarte que uno de los productos estrella es el Nvidia GDX Superpod, un sistema de proceso que cuenta con 8 Racks NVL72 más un sistema de interconexión. Si, ya sabemos lo que dijo el chino de campera de cuero y que esta bestialidad llega a 1,5 exaflops de supercomputación de IA con precisión FP4 y 240 terabytes de memoria. En total cuenta con 36 Superchips NVIDIA GB200, que incluyen 36 CPU NVIDIA Grace y 72 GPU NVIDIA Blackwell, conectados como una supercomputadora a través de NVIDIA NVLink. Hasta ahí todo lindo el panfleto de esta empresa, pero… ¿cuánto consumen este ropero de 576 GPUs en total?

La bestia de 1MW

1 MW es 1 millón de Watts. Suponiendo que 8 racks consumen 960kW sin contar el sistema de enfriamiento y el rack de interconexión sin dudas nos quedamos cortos redondeando a 1000kW = 1MW. Lo más divertido es calcular lo que significa esta cantidad de energía. Así que vamos con ello.

Según lo que estuve investigando, el consumo promedio de electricidad de una casa en Estados Unidos es aproximadamente 1.22 kW, asumiendo un uso constante durante todo el día. Basado en este consumo promedio, unos 960 kW podrían alimentar aproximadamente 788 casas con un ropero de Nvidia.

Si bien 1.22kW parece poco (ya que un aire acondicionado de 3500 frigorías consume más que eso) hay que recordar que se habla del promedio. Un hogar tiene momentos de picos de consumo de quizás 5kW o 6kW pero en otros momentos solamente tiene la heladera encendida, es decir, unos 50 Watts como mucho.

Datacenters que consumen lo que una ciudad

¿Cuántos de estos roperos podrían caber en un datacenter? Estoy seguro que cientos. Pero hagamos un cálculo humildón. Imaginemos que tenemos 30 de estos aparatos (he leído hilos de Facebook de gente que trabaja en empresas que encargaron más) y hagamos un cálculo simple: 30*788, lo que nos da la «friolera» de 23640 hogares que podrían alimentarse con lo que consumen 30 GDX Superpod.

¿Y si multiplicamos 23640 por un promedio de 3 personas por hogar? Ahí estamos en una ciudad de 70 mil habitantes.

Hace poco más de un año, la comunidad cripto se puso seria cuando se la criticaba porque, en un mundo donde se achaca y achaca con el hecho de que hay que consumir menos energía para cuidar el planeta, en un momento para mantener las redes minando todo el sistema consumía más energía que un país cómo Argentina. Ahí la comunidad cripto era mal vista, claro, porque no cuidaba el planeta.

Si bien no hay mucha información pública, es muy probable que hoy el consumo de energía de toda la infraestructura IA sea igual o mayor de la que en su momento mantenía vivo a BTC y ETH, pero claro, los modelos de negocio son distintos.