Block, la empresa de pagos de Jack Dorsey, ha presentado Dessa, un modelo de voz desarrollado en su laboratorio de investigación que llama la atención por lo humano que suena: se ríe en mitad de una frase, hace pausas, suspira y cambia de tono según la conversación. Lo más llamativo, sin embargo, es cómo se ha entrenado: únicamente con voz humana, sin texto de por medio.
Jack Dorsey lo presentó en X como «el modelo de voz full-duplex más auténtico jamás construido», y Ragavan Thurairatnam, que lidera el proyecto, habló de un «momento GPT-3» para la voz. Son afirmaciones que por ahora no se pueden comprobar de forma independiente, porque Dessa no está disponible para el público.
Aprender a hablar escuchando
La mayoría de asistentes de voz convierten lo que decimos en texto, lo procesan con un gran modelo de lenguaje y vuelven a sintetizar una respuesta hablada. Según Block, ese paso por el texto «tira a la basura» una enorme cantidad de información que las palabras escritas no pueden transmitir, como el tono o la emoción. «Las IA más potentes del mundo no pueden oír cómo te sientes», lamenta la empresa. Dessa funciona de voz a voz y, según su web, se entrenó desde cero «con nada más que conversación humana», sin texto ni modelos preentrenados. Todo lo que sabe procede, por tanto, del sonido.
Block asegura que el modelo aprendió el idioma con cientos de veces menos palabras que un modelo de lenguaje y que el entrenamiento se hizo con un único rack de NVIDIA GB200 NVL72.
Escuchar y hablar a la vez
Dessa es un modelo full-duplex: puede escuchar y hablar al mismo tiempo, como una persona, igual que el GPT-Live que OpenAI lanzó este año. Eso le permite interrumpir cuando toca o intercalar expresiones como «¡ya!» o «vale» para mostrar que sigue la conversación. Los investigadores han publicado grabaciones en las que el modelo dice estar cansado y suena cansado, o se emociona hasta parecer a punto de llorar. TechCrunch apunta que no está claro si esa emoción se dirige de algún modo con etiquetas, como hacen otros sistemas de síntesis de voz.
Funciona en local
Según Block, la inferencia es más rápida que el tiempo real y el modelo puede ejecutarse en un ordenador de consumo, como un MacBook Pro con chip M4 Max o superior. Para una compañía que vende soluciones a pequeños negocios, y cuyo sistema Square ya usa voz para gestionar pedidos, un modelo propio que funcione en el dispositivo podría abaratar mucho este tipo de servicios.
Seguridad, la gran pregunta
Block ha abierto el acceso a un grupo reducido de investigadores en seguridad de IA para que busquen riesgos que la empresa no haya previsto. No es un detalle menor: una voz sintética capaz de transmitir emociones de forma convincente podría usarse para engañar a quien está al otro lado del teléfono. La compañía defiende lo contrario, que una IA capaz de oír cómo se siente una persona es más segura que una que solo lee palabras.