Google ha ampliado este lunes su octava generación de chips para inteligencia artificial con dos sistemas nuevos: el TPU 8tx, pensado para procesar datos sensibles sin que queden expuestos ni siquiera mientras se calculan, y el TPU 8i Max, que junta dos chips en un mismo encapsulado para atacar el gran cuello de botella de los agentes de IA: la memoria.
Con ellos, la compañía suma cuatro sistemas TPU presentados en un solo año, algo que según Google no había hecho nunca. Los dos primeros, el TPU 8t para entrenamiento y el TPU 8i para inferencia, se anunciaron en abril en Google Cloud Next. De los nuevos, de momento, no hay ni precio ni fecha de disponibilidad.
Qué es un TPU y por qué Google insiste en ellos
Los TPU (unidades de procesamiento tensorial) son los aceleradores que Google diseña para mover sus propios modelos, como Gemini, y que alquila a clientes de Google Cloud o incluso instala ya en centros de datos ajenos. Según Amin Vahdat, vicepresidente sénior y responsable técnico de IA e infraestructura de Google, el negocio de los TPU ya tiene cerca de un centenar de clientes, entre laboratorios de IA, empresas de trading, cadenas de tiendas y universidades.
La clave de este anuncio es que no son chips nuevos, sino sistemas nuevos. Google explica que diseñar un chip lleva años, pero que cambiar cómo se combinan los chips con la memoria, la red y la seguridad se puede hacer en meses.
TPU 8tx: datos cifrados incluso mientras se procesan
Normalmente los datos se cifran cuando están guardados o cuando viajan por la red, pero tienen que descifrarse en memoria para poder trabajar con ellos. El TPU 8tx, que usa el mismo silicio que el TPU 8t y se combina con procesadores AMD EPYC de quinta generación, lleva la protección al propio hardware para que los datos y los pesos del modelo sigan aislados también durante el cálculo. Es lo que se conoce como computación confidencial, y Google dice que es su primer TPU con esta capacidad.
Mark Lohmeyer, vicepresidente de Google Cloud, explicó a Network World que se cifra todo el recorrido de los datos, desde el servidor hasta los TPU, y que el sistema completo se certifica para garantizar que es lo que dice ser. Además, el 8tx hereda la red de baja latencia del TPU 8i, con lo que Google promete hasta la mitad de latencia que el TPU 8t y una penalización de rendimiento «casi nula». Está pensado para bancos, administraciones y sectores regulados que quieren ajustar, destilar y ejecutar sus modelos con datos privados sin moverlos entre clústeres distintos.
TPU 8i Max: más memoria para agentes que leen mucho
Cuando decenas de agentes de IA trabajan a la vez sobre un repositorio de código entero o sobre horas de vídeo, el problema ya no es la potencia de cálculo, sino lo rápido que llegan los datos al chip. Para eso Google ha unido dos TPU 8i en un mismo encapsulado: el resultado tiene el doble de cálculo, el doble de SRAM y el doble de ancho de banda de memoria HBM que un TPU 8i.
Según los datos facilitados a Network World y TechTarget, el 8i Max alcanza 384 GB de memoria HBM (un 33 % más que el TPU 8i), 17,2 TB/s de ancho de banda y 768 MB de SRAM en el chip. Como mete el doble de silicio en el mismo espacio de rack, también promete más potencia por metro cuadrado y por vatio en los centros de datos.
Software para que los TPU no sean solo cosa de Google
El anuncio viene acompañado de varias piezas de software. Google recuerda que el mes pasado liberó TorchTPU para que el código de PyTorch y los modelos de Hugging Face funcionen de forma nativa en sus chips, y presenta herramientas como TPU Sync, de código abierto, que saca de la memoria del chip el contexto de los agentes cuando están en pausa y lo recupera en milisegundos. La empresa asegura que con ello reduce en más de un 90 % el tiempo hasta el primer token. Lohmeyer señaló que un agente puede pasar días esperando una respuesta humana, y que reservar hardware todo ese tiempo supone desperdiciarlo más del 90 % del tiempo.
Por qué importa
La carrera de la IA ya no se juega solo en quién tiene el chip más rápido. Con los agentes, la memoria, la latencia, el coste de tenerlos esperando y la seguridad de los datos pesan tanto como la potencia bruta. Google intenta posicionar sus TPU como alternativa a las GPU de Nvidia precisamente en esos frentes, y abrir su uso a cualquier desarrollador de PyTorch es una forma de quitar la principal excusa para no probarlos.
