PrismML lanza un modelo de lenguaje grande compacto que podría revolucionar el uso del AI
PrismML, una startup centrada en la compresión de modelos de lenguaje grandes (LLM), está ganando atención en el ecosistema tecnológico por su capacidad para crear versiones significativamente más pequeñas de estos sistemas sin sacrificar rendimiento. Aunque aún no ha recaudado grandes cantidades de capital, su equipo técnico y su enfoque innovador han generado interés en el sector. La empresa, fundada por investigadores de Caltech, se centra en desarrollar modelos capaces de realizar razonamiento complejo con un tamaño reducido, lo que permitiría su implementación en dispositivos como computadoras personales y teléfonos inteligentes.
El lanzamiento reciente de Bonsai 2 27B marca un hito importante en esta trayectoria. Este nuevo modelo reduce el tamaño de Qwen3.8 27B, un modelo open-source ampliamente utilizado de Alibaba, a solo 5.9 GB. Eso representa una reducción de entre 9 y 10 veces en comparación con el modelo original. Esta eficiencia en el uso de memoria abre nuevas posibilidades para desplegar modelos avanzados incluso en entornos con recursos limitados.
La dirección técnica de PrismML está a cargo de Babak Hassibi, profesor de Caltech y especialista en técnicas de compresión. Su experiencia académica y su liderazgo en el campo han sido claves para el desarrollo de la tecnología. Además, el consejo asesor incluye a Ion Stoica, co-fundador de Databricks y director del prestigioso Sky Computing Lab de la Universidad de Berkeley, donde se han desarrollado importantes tecnologías y startups como Letta o SGLang.
Si bien PrismML no es la única empresa trabajando en compresión de LLM, sus resultados destacan por mantener un alto nivel de rendimiento. El primer modelo Bonsai, lanzado en marzo, ya había alcanzado el 95% de los puntajes de benchmark del modelo original, mientras que Bonsai 2 supera ese récord con un 98%. Estas cifras indican una mejora constante en la calidad del modelo comprimido, lo cual es crucial para su adopción generalizada.
La popularidad del modelo Bonsai también es evidente en su descarga masiva: más de 11 millones de veces el modelo original, y otros 2.6 millones de descargas adicionales para las versiones aún más ligeras. Esto demuestra que hay una demanda real por soluciones eficientes y accesibles de IA, especialmente en contextos donde el hardware no permite ejecutar modelos tradicionales.
La clave del avance de PrismML radica en su método de compresión basado en «pesos ternarios». En lugar de usar los típicos 16 bits por peso, el sistema emplea solo tres valores: +1, -1 o 0. Esta simplificación permite reducir significativamente el tamaño del modelo sin afectar notablemente su capacidad de razonamiento. Según Hassibi, aunque siempre habrá cierta pérdida en el rendimiento debido a la compresión, esa diferencia no es crítica en la práctica.
Además, el rendimiento de un modelo LLM depende no solo de su estructura interna, sino también del entorno en el que opera. La infraestructura de software que lo rodea, incluyendo herramientas de ejecución y optimización, juega un papel fundamental en la precisión final. Por eso, PrismML enfatiza que su solución no solo es más ligera, sino también más integrable en aplicaciones reales.
A pesar de su enfoque prometedor, PrismML enfrenta competencia de otras empresas como Multiverse Computing, que también trabaja en compresión de modelos y ha logrado financiamiento considerable. Sin embargo, la ventaja competitiva de PrismML radica en su capacidad para mantener altos niveles de rendimiento sin sacrificar funcionalidad, algo que muchos competidores aún no han logrado.
La empresa ha estado en conversaciones con grandes compañías del sector, incluyendo rumores sobre posibles acuerdos con Apple. Aunque el CEO no confirmó estos informes, la naturaleza de su tecnología sugiere que podría tener aplicaciones interesantes en el ecosistema de dispositivos móviles y de escritorio de Apple.
En resumen, PrismML representa una nueva era en el desarrollo de IA, donde la eficiencia y la accesibilidad son tan importantes como el poder computacional. Con modelos como Bonsai 2, la empresa está sentando las bases para una futura generación de aplicaciones de inteligencia artificial que podrían funcionar incluso en dispositivos de bajo presupuesto, transformando así la forma en que interactuamos con la tecnología.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch