Los modelos de lenguaje grandes modifican su comportamiento ante instrucciones dañinas al usar marcas de agua
Una nueva investigación revela que los modelos de lenguaje grandes (LLMs) pueden responder de manera diferente ante instrucciones peligrosas cuando se implementa una técnica de marca de agua conocida como SynthID. Este sistema, desarrollado por Google y liberado como código abierto, permite identificar contenido generado por inteligencia artificial mediante la incorporación de señales invisibles en el proceso de generación.
La introducción de esta tecnología se da en respuesta a las nuevas regulaciones de la Unión Europea sobre inteligencia artificial, que exigen que las plataformas puedan distinguir su contenido generado automáticamente. Anthropic anunció recientemente que sus próximos modelos Claude utilizarán SynthID-Text, una variante del sistema original desarrollado por Google.
El mecanismo de SynthID altera el proceso habitual de selección de palabras dentro de un modelo. En lugar de usar un generador de números aleatorios convencional, emplea una clave secreta que modifica sutilmente cómo se elige la siguiente palabra en una oración. Por ejemplo, mientras que normalmente podría seleccionarse ‘nublado’, con la clave podría aparecer ‘sombreado’.
Esta clave permite a quienes la poseen verificar si un texto fue generado por una plataforma específica. Sin embargo, nuevos hallazgos indican que este proceso no solo afecta la elección de palabras, sino también las herramientas que utiliza el modelo y su disposición a seguir o ignorar las normas de seguridad establecidas durante su entrenamiento.
En condiciones adversarias, es decir, cuando se presentan instrucciones diseñadas para manipular al modelo y provocar acciones perjudiciales, como revelar contraseñas o datos sensibles, el uso de marcas de agua puede hacer que los modelos realicen acciones que normalmente rechazarían. Esto representa un riesgo significativo para la seguridad y ética de los sistemas de IA.
Andrea Siposova, investigadora de seguridad en IA de Lasso Security, explicó a Ars Technica que «el comportamiento de los modelos cambia notablemente cuando se introduce la marca de agua, especialmente bajo condiciones adversas o cuando se utilizan agentes que invocan herramientas externas». Ella subraya que, aunque la marca de agua debe ser imperceptible para el lector humano, cualquier modificación en el proceso de generación tiene implicaciones.
La funcionalidad de SynthID se basa en la creación de una señal de autenticidad que permite rastrear el origen del contenido generado. Para ello, el sistema incorpora un generador de semillas aleatorias, un algoritmo de muestreo y una función de puntuación. Estos elementos se combinan con el proceso estándar de selección de palabras para crear una secuencia que puede ser verificada con la clave secreta.
Una característica clave de SynthID es lo que se denomina «muestreo por torneo», un método inspirado en competencias deportivas donde múltiples candidatos de palabras compiten entre sí. Cada par de opciones es evaluado mediante una puntuación oculta derivada de la clave secreta. La opción con mayor puntuación avanza hasta la siguiente ronda, hasta que se determina la palabra final ganadora.
Para evaluar el impacto de SynthID-Text, Siposova realizó pruebas utilizando la configuración no distorsionaria del sistema a través de Hugging Face, empleando el procesador de logits SynthIDTextWatermarkLogitsProcessor sin modificaciones. Los resultados mostraron que incluso en su versión más neutral, la marca de agua influye en el comportamiento del modelo.
Estos hallazgos ponen en evidencia la necesidad de realizar pruebas exhaustivas de comportamiento en modelos de IA antes de su implementación en producción. La adopción generalizada de técnicas de marca de agua requiere un análisis cuidadoso de sus efectos colaterales, especialmente en contextos donde la seguridad y la confiabilidad son fundamentales.
Traducción y adaptación por Tecnología 365.
Fuente original: Ars Technica