La IA local: una experiencia emocionante, abrumadora y frustrante
El uso de inteligencia artificial local está ganando terreno como una alternativa a los servicios en la nube, ofreciendo privacidad sin sacrificar funcionalidad. Para muchos usuarios, esta nueva modalidad representa un equilibrio entre conveniencia y control sobre sus datos personales. Sin embargo, el camino hacia su adopción no es sencillo, y se presenta como una combinación de emoción, confusión y desilusión.
Antonio G. Di Benedetto, revisor de The Verge especializado en portátiles y gadgets, ha decidido embarcarse en este viaje con la intención de evaluar si vale la pena invertir tiempo y dinero en modelos locales de IA. Su experiencia inicial lo llevó a experimentar con el nuevo Mac Studio M5 Ultra, equipado con 256 GB de memoria unificada, ideal para ejecutar modelos grandes de lenguaje.
La promesa de Apple de que sus nuevos Mac son ideales para IA local ha sido uno de los principales motores de interés en el sector. Además, la aparición de nuevas tarjetas gráficas RTX Spark con hasta 128 GB de RAM refuerza la idea de que el futuro del procesamiento local de IA está cerca. Esta tendencia ha hecho que el concepto de agentes de IA autónomos sea cada vez más popular.
Para Di Benedetto, el atractivo principal de la IA local radica en la privacidad. No hay necesidad de enviar datos sensibles a servidores externos como los de OpenAI, Google o Microsoft. Esto permite tener un asistente digital que responde únicamente al usuario, sin intermediarios ni riesgos de filtraciones. Aunque aún no está dispuesto a dejar que la IA escriba o edite textos, sí considera que podría ser útil para tareas rutinarias.
Como parte de su prueba, instaló Hermes Agent, una aplicación de agente de IA autohospedada compatible con macOS, Windows y Linux. La herramienta es completamente gratuita mientras se utilicen modelos locales, lo cual facilita su acceso. Con el poder computacional del Mac Studio, pudo ejecutar múltiples modelos de gran tamaño, lo que rápidamente se volvió abrumador.
La cantidad de modelos disponibles es inmensa, y cada uno tiene sus propias fortalezas. Los modelos con miles de millones de parámetros suelen ofrecer mayor capacidad de comprensión y generación, lo que los hace ideales para tareas complejas. Sin embargo, elegir cuál usar puede ser una tarea difícil, especialmente para usuarios sin experiencia técnica.
Di Benedetto comenzó con Qwen, un modelo desarrollado por Alibaba, y logró configurarlo junto con Hermes Agent. Incluso logró integrarlo con un bot de Telegram para controlarlo desde su teléfono. Esta integración permitió automatizar tareas simples, como recibir un resumen diario de noticias, lo que demostró la utilidad básica de la IA local.
Otra tarea útil fue reorganizar su biblioteca de juegos en Steam, con más de 400 títulos. El agente local ayudó a categorizar y clasificar los juegos según diferentes criterios, lo que mostró cómo la IA puede mejorar la productividad incluso en tareas cotidianas.
A pesar de las ventajas, el uso de IA local también presenta desafíos. La interfaz de texto sigue siendo limitante, y muchas veces no es claro qué hacer con las respuestas generadas. La falta de una experiencia intuitiva puede hacer que el proceso sea frustrante, especialmente para usuarios comunes.
En resumen, aunque la IA local ofrece una alternativa más segura y personalizada, aún requiere una curva de aprendizaje significativa. Para quienes buscan control total sobre sus datos, es una opción prometedora. Pero para muchos, seguirá siendo una herramienta compleja que exige tiempo y paciencia para dominarla.
Traducción y adaptación por Tecnología 365.
Fuente original: The Verge