Herramientas que vigilan, pero no protegen: la paradoja de la detección de deepfakes en Latinoamérica

La escena se repite en distintas versiones en toda la región, con la misma coreografía y el mismo pozo de terror en el estómago. Suena el teléfono. Es la voz de tu hija, o de tu madre, o de tu hermano. Hay un accidente, un secuestro, una detención migratoria, una emergencia médica. La voz llora, se quiebra, suplica. Necesita dinero ahora, transferido ya, sin colgar. Y la voz es exactamente la voz que conoces: el timbre, la cadencia, esa manera particular de arrastrar una vocal. Solo que no es ella. Es un modelo de síntesis de voz entrenado con unos segundos de audio robado de un video de Instagram o de una nota de voz reenviada por WhatsApp. La confianza que treinta años de vida familiar depositaron en un sonido acaba de convertirse en la superficie de ataque más barata del mercado.

Lo que quiero examinar esta semana no es el drama del fraude —que es real y merece toda la indignación— sino algo más frío y más estructural: las herramientas. Las que atacan y las que supuestamente defienden. Porque hay una asimetría en el corazón de este fenómeno que conviene mirar de frente. Del lado del ataque, las herramientas de clonación de voz y generación de video sintético son baratas, accesibles, mejoran cada mes y funcionan razonablemente bien en español. Del lado de la defensa, los detectores de deepfakes son caros, están diseñados para mercados anglosajones, funcionan mal con nuestros acentos y contextos, y llegan tarde. La tesis es incómoda pero simple: la brecha de herramientas no es una molestia técnica. Es una brecha de seguridad, y la estamos pagando con el dinero y la tranquilidad de las personas más expuestas.

La economía del ataque: barato, rápido, en español

Empecemos por lo que hace que este fraude funcione ahora y no hace cinco años. El informe de referencia de la industria lo dice sin adornos: las herramientas de deepfake han mejorado significativamente desde 2020, y esa mejora hace que generar desinformación —o, en nuestro caso, suplantación— sea notablemente más fácil HAI AI-Index-Report-2024. “Más fácil” es la palabra que hay que subrayar, porque la facilidad es lo que democratiza el crimen. Ya no hace falta un estudio, ni un ingeniero de audio, ni horas de grabación limpia. Hacen falta segundos de voz y una tarjeta de crédito para pagar una suscripción mensual, o directamente un modelo de código abierto corriendo en una computadora modesta.

Las plataformas de síntesis de voz —Resemble.ai, ElevenLabs y varias más— nacieron para usos legítimos: doblaje, accesibilidad, audiolibros, asistentes. Pero una herramienta no tiene moral, tiene capacidades, y la capacidad de reproducir una voz con pocos segundos de muestra es exactamente la capacidad que un estafador necesita. El punto que quiero fijar es que la industria de la defensa siempre corre detrás de la industria del ataque, porque el ataque solo necesita funcionar una vez, mientras que la defensa necesita funcionar siempre. Esta asimetría estructural no es nueva —Marta Peirano la describió con precisión al mostrar cómo las operaciones de phishing y manipulación se compran y venden en un mercado desregulado donde “la sociedad civil no dispone de conocimiento o de la capacidad necesaria para protegerse de estos ataques” El enemigo conoce el sistema. Lo que cambió es que ahora el mercado incluye la voz de tu madre entre sus insumos.

Y aquí conviene ser preciso sobre por qué el español latinoamericano es un buen terreno de caza. No es que las herramientas de ataque estén especialmente afinadas para nuestros acentos —es que no necesitan estarlo. La clonación de voz funciona por imitación de patrones acústicos, y esos patrones son universales: un modelo entrenado mayoritariamente en inglés reproduce igual de bien un rioplatense que un caribeño, porque no está “entendiendo” el idioma sino copiando la forma de onda. El ataque es indiferente al idioma. La defensa, como veremos, no lo es. Esa indiferencia del ataque frente a la especificidad de la defensa es toda la paradoja en una frase.

La economía de la defensa: caro, lento, en inglés

Del otro lado del ring están los detectores. Microsoft presentó su Video Authenticator como herramienta para analizar imágenes y videos y asignar una puntuación de confianza sobre si el material fue manipulado artificialmente Microsoft Video Authenticator. Suena bien hasta que uno lee la letra chica de todo el campo de la detección: estos sistemas fueron diseñados, entrenados y validados sobre corpus mayoritariamente angloparlantes, en el contexto de la desinformación electoral estadounidense, y con un foco casi exclusivo en video de figuras públicas. El fraude familiar por voz —una llamada telefónica en español chileno pidiendo un giro urgente— es un caso de uso que sencillamente no estaba en la mesa de diseño.

Esto importa por una razón técnica concreta. Los detectores de audio sintético buscan artefactos: pequeñas inconsistencias en la respiración, en las transiciones entre fonemas, en el ruido de fondo. Esos artefactos varían según el idioma, el acento, la calidad del canal —y una llamada por red celular en una zona rural mexicana tiene una calidad de audio radicalmente distinta a la de un clip de campaña grabado en un estudio de Washington. Un detector calibrado para lo segundo produce falsos positivos y falsos negativos en lo primero. La herramienta existe, pero no está calibrada para tu vida.

Hay además una asimetría de tiempo que rara vez se nombra. El ataque ocurre en tiempo real: la llamada dura noventa segundos y la transferencia se hace antes de que cuelgues. La detección, en cambio, es forense: analiza un archivo después del hecho, cuando el dinero ya voló. No existe hoy —al menos no de manera accesible y en español— un sistema que te diga en el momento, mientras hablás, “esta voz es sintética”. Y aunque existiera, ¿quién lo tendría corriendo sobre su línea telefónica? La defensa vive en un plano temporal equivocado. Vigila el pasado. El ataque vive en el presente.

Las plataformas de mensajería como zona liberada

Si hay un lugar donde la ausencia de herramientas de defensa se vuelve política, es en las plataformas de mensajería. En Latinoamérica, WhatsApp no es una app más: es la infraestructura de comunicación de facto de cientos de millones de personas, el canal por donde circulan la familia, el trabajo, el comercio pequeño y, cada vez más, el fraude. Y su arquitectura de cifrado de extremo a extremo —una conquista legítima de la privacidad, activada en 2016 Forget Apple vs. the FBI: WhatsApp Just Switched on Encryption— tiene un efecto lateral incómodo: si nadie más que emisor y receptor puede leer el mensaje, entonces nadie más que emisor y receptor puede filtrar un deepfake.

Quiero ser cuidadoso aquí porque es fácil caer en la trampa. La solución no es que WhatsApp rompa el cifrado para escanear contenido —eso sería cambiar un problema de seguridad por uno peor, entregar a la plataforma un poder de vigilancia total sobre la conversación privada de la región. El punto es más sutil: la misma propiedad que protege tu privacidad frente a la plataforma te deja solo frente al estafador. La herramienta de defensa no puede vivir en el servidor. Tendría que vivir en tu teléfono, corriendo localmente sobre el audio que recibís, sin enviar nada a la nube. Y esa herramienta —un detector de voz sintética que corra en el dispositivo, en español, en tiempo real— no existe como producto masivo, ni gratuito, ni preinstalado.

La consecuencia es que las plataformas de mensajería funcionan hoy como zonas liberadas para el fraude sintético en la región. No filtran deepfakes de voz porque técnicamente no pueden hacerlo sin comprometer el cifrado, y comercialmente no tienen incentivo para invertir en detección local del lado del cliente en un mercado que no genera los ingresos publicitarios de Norteamérica o Europa. García Canclini describió este vaciamiento con lucidez: los conocimientos que necesitamos para desempeñarnos como ciudadanos se estrechan por la sustracción y el ocultamiento de datos por parte de corporaciones y gobiernos Ciudadanos reemplazados por algoritmos. Traducido al fraude por voz: no sabés cómo funciona la herramienta que te ataca, no tenés la herramienta que te defendería, y la plataforma por donde llega el ataque no está obligada a darte ninguna de las dos.

La ilusión de la conscientización

La respuesta institucional dominante al fraude sintético ha sido la campaña de concientización: spots de radio, videos de bancos, alertas de las fiscalías, listas de “cómo reconocer una estafa”. Y no está mal —cualquier información es mejor que ninguna— pero conviene ver el movimiento retórico que hay detrás. Cuando la única defensa que se ofrece es “estés atento, no confíes, verificá antes de transferir”, lo que se ha hecho es trasladar toda la carga de la seguridad al individuo más vulnerable. Se privatiza el riesgo. La responsabilidad de detectar un modelo de IA de última generación recae sobre una abuela que recibe una llamada de la voz de su nieto a las tres de la mañana.

Esto es lo que hay que nombrar con claridad: la conscientización es necesaria pero es también una manera barata de que las plataformas, los bancos y los Estados eviten construir las herramientas que realmente cambiarían la ecuación. Es más fácil producir un video que diga “cuidado con las estafas de voz” que financiar el desarrollo de un detector de audio sintético que funcione con el español boliviano. Y hay una trampa cognitiva adicional: pedirle a la gente que “verifique” asume que la gente puede verificar, que tiene un segundo canal confiable, que no está en pánico. El fraude está diseñado precisamente para eliminar la verificación —crea urgencia, secuestra la emoción, exige inmediatez. Freire lo habría reconocido como una pedagogía invertida: en lugar de una educación que permite nombrar el mundo y actuar sobre él, un dispositivo que anula el juicio crítico en el momento exacto en que más se necesita Pedagogía del oprimido.

La conscientización, entonces, tiene un techo. Puede reducir la incidencia del fraude en su versión más torpe, pero no puede competir con herramientas de ataque que mejoran cada trimestre. Estás pidiéndole al eslabón humano que gane una carrera armamentística contra una máquina. Es una apuesta perdida por diseño, y presentarla como la solución principal es, en el mejor de los casos, ingenuo, y en el peor, una elusión de responsabilidad de quienes sí tienen los recursos para construir defensa técnica.

Las cinco lentes: disponibilidad y accesibilidad como falla de seguridad

Vale la pena detenerse a aplicar dos de las lentes con las que esta publicación mira la tecnología en la región, porque revelan que lo que parece un problema de mercado es en realidad un problema de seguridad pública.

Disponibilidad. Una herramienta que existe pero que no está disponible en tu idioma, tu acento y tu contexto es, para fines prácticos, una herramienta que no existe. Los detectores de deepfakes están disponibles como demostraciones de laboratorio, como servicios empresariales caros, como APIs para desarrolladores. Lo que no está disponible es un detector de voz sintética que una persona común pueda usar sobre una llamada de WhatsApp en español, gratis, sin conocimiento técnico. Esa ausencia no es un vacío neutral: es un vacío que los estafadores ocupan. La disponibilidad de la herramienta de ataque —Resemble.ai, ElevenLabs, modelos abiertos— es total; la disponibilidad de la herramienta de defensa, en términos reales para el usuario latinoamericano promedio, es prácticamente nula. La brecha entre ambas disponibilidades es el espacio exacto donde ocurre el robo.

Accesibilidad. Aun cuando una herramienta de defensa esté nominalmente disponible, su accesibilidad económica define quién queda protegido. Las soluciones comerciales de detección se venden a bancos y a empresas de medios, no a personas. Y las poblaciones más golpeadas por el fraude de voz —adultos mayores, migrantes, personas en zonas rurales con menor exposición a estas tecnologías— son precisamente las que menos capacidad tienen de pagar cualquier servicio de protección, aun si existiera en español. La accesibilidad, aquí, no es un lujo: es la diferencia entre estar protegido y no estarlo. Y en un continente donde el PIB per cápita ronda los 10.310 dólares en Brasil, los 14.185 en México y los 13.969 en Argentina según datos de 2024 Brasil (Brazil), la idea de que la defensa contra el fraude sintético sea un servicio de pago es, en sí misma, una decisión sobre quién merece seguridad.

Cuando se cruzan estas dos lentes, la conclusión se vuelve difícil de esquivar: la seguridad frente al deepfake se está distribuyendo según la capacidad de pago, en una región donde la capacidad de pago está desigualmente repartida y donde los blancos preferidos del fraude están del lado equivocado de esa desigualdad. No es un fallo del mercado. Es el mercado funcionando exactamente como fue diseñado, dejando afuera a quienes no son clientes rentables.

Aplicabilidad, alternativas y anticipación

Las otras tres lentes completan el cuadro y, sobre todo, señalan hacia dónde mirar.

Aplicabilidad. El fraude de voz es brutalmente aplicable a nuestra realidad porque explota exactamente los rasgos culturales que nos definen. La familia extendida, la obligación de responder a la emergencia de un pariente, la circulación intensa de dinero informal entre miembros de una familia, la migración que separa físicamente a las familias y las obliga a comunicarse por teléfono —todo eso es materia prima del estafador. Un fraude que en otra cultura sonaría inverosímil (“un desconocido me pide plata urgente”) en la nuestra suena plausible porque la solidaridad familiar es real y la urgencia económica es cotidiana. Las herramientas de ataque no necesitan adaptarse a nuestro idioma, pero el guion del fraude sí está finamente adaptado a nuestras estructuras afectivas. Esa es la aplicabilidad más peligrosa: la que no está en el código sino en el conocimiento del atacante sobre cómo vivimos.

Alternativas. Frente a la ausencia de herramientas técnicas de detección, ¿qué alternativas reales existen? Las de baja tecnología resultan sorprendentemente efectivas: acordar una palabra clave familiar que solo los miembros de la familia conozcan y que ninguna cantidad de audio robado puede reproducir; establecer el hábito de cortar y devolver la llamada por el canal habitual; verificar por un segundo medio antes de mover dinero. Estas prácticas —protocolos humanos, no software— tienen la virtud de que ningún avance del modelo de ataque las derrota, porque no dependen de detectar el deepfake sino de rodearlo. Las campañas tradicionales por radio y televisión, que a menudo se descartan como obsoletas, resultan aquí genuinamente útiles porque llegan a las poblaciones que los detectores digitales nunca alcanzarán. La alternativa analógica no es un consuelo de segunda: en ausencia de herramientas de defensa localizadas, es la defensa. Pero conviene no romantizarla: es un parche, no una solución estructural, y descansa otra vez sobre el individuo.

Anticipación. Y aquí llegamos al punto donde la región tiene margen de decisión. Brasil lidera el índice latinoamericano de inteligencia artificial con 72,4 sobre 100, seguido por México con 68,8 y Argentina con 67,5 Brasil (Brazil), y los tres cuentan con estrategias nacionales de IA: el PBIA brasileño 2024-2028, la Estrategia Nacional renovada en México, el Plan Nacional argentino. La pregunta de anticipación es concreta: ¿incluyen esas estrategias inversión en desarrollos propios de detección de contenido sintético, calibrados para español y portugués regionales, distribuidos como bien público? Porque la alternativa —esperar a que Microsoft, Google o una startup del norte decida que el mercado latinoamericano vale la localización— es una apuesta que la evidencia de las últimas dos décadas no respalda. La anticipación real significa tratar la detección de deepfakes no como un producto de consumo sino como infraestructura de seguridad pública, del mismo modo que un país no espera a que el mercado le provea un sistema de alerta temprana de terremotos.

El contraargumento que hay que tomar en serio

Sería deshonesto no considerar la objeción más fuerte contra todo lo anterior. Alguien podría decir: la carrera entre generación y detección de deepfakes es intrínsecamente perdedora para la detección, porque cada mejora en el detector se usa como señal de entrenamiento para hacer el generador indetectable. Es el problema del adversario: los sistemas generativos modernos pueden entrenarse específicamente para engañar a los detectores conocidos. Si esto es cierto —y hay buenas razones técnicas para creer que lo es en el mediano plazo— entonces invertir en detectores localizados sería tirar dinero a un pozo, y la energía debería ir toda a los protocolos humanos y a la conscientización.

Es un argumento serio y quiero concederle su parte de razón: sí, la detección puramente reactiva —analizar un archivo y decir “esto es falso”— probablemente pierda la carrera armamentística a largo plazo. Pero la conclusión no es rendirse, sino cambiar de terreno. La defensa más robusta no es la detección posterior sino la autenticación previa: sistemas de procedencia y firma criptográfica que certifiquen que un contenido es auténtico en origen, en lugar de intentar descubrir después que es falso. Es la diferencia entre buscar billetes falsos y usar billetes con marcas de agua imposibles de replicar. Esa infraestructura de autenticación —estándares abiertos de procedencia de contenido— es precisamente el tipo de bien público que una estrategia nacional de IA podría impulsar y que el mercado, por sí solo, tarda en construir porque no es rentable a corto plazo.

El contraargumento, entonces, no destruye la tesis: la refina. No se trata de comprar el detector angloparlante de moda y creer que resuelve el problema. Se trata de reconocer que la región necesita capacidades propias —de detección donde sirva, de autenticación donde sea más robusta, de protocolos humanos donde la técnica falle— y que ninguna de esas capacidades va a llegar sola. Peirano ya advirtió sobre la ingenuidad de esperar que el mercado desregulado provea protección a una sociedad civil que carece del conocimiento y la capacidad para protegerse El enemigo conoce el sistema. La respuesta no puede ser más mercado. Tiene que ser una decisión pública sobre a quién se protege y con qué.

Lo que la herramienta te hace

Vuelvo, para cerrar, a la voz en el teléfono. Porque toda esta discusión sobre detectores, cifrado, calibración y estrategias nacionales corre el riesgo de perder de vista lo que la herramienta efectivamente le hace a una persona. No solo le roba dinero. Le roba algo más difícil de recuperar: la confianza en el reconocimiento. Durante toda la historia de la especie, reconocer la voz de alguien querido fue una garantía suficiente de su presencia. La clonación de voz rompe ese contrato tácito. A partir de ahora, oír la voz de tu madre ya no prueba que es tu madre. La herramienta no solo extrae recursos: introduce una sospecha permanente en el tejido íntimo de la comunicación familiar, obliga a desconfiar del sentido que menos habíamos aprendido a poner en duda.

Ese es el costo real que ninguna hoja de cálculo de fraude captura. La asimetría de herramientas —ataque barato y disponible, defensa cara y ausente— no produce solo pérdidas económicas. Produce un continente donde las poblaciones más vulnerables aprenden a desconfiar de sus propios afectos, mientras las herramientas que podrían devolverles esa confianza se venden a quienes menos las necesitan. La brecha de herramientas, dije al principio, es una brecha de seguridad. Ahora agrego: es también una brecha de confianza, y esa se repara mucho más lento que una cuenta bancaria.

Quedan las preguntas abiertas, que son las que importan. ¿Van los Estados de la región a tratar la autenticación de contenido y la detección de voz sintética como infraestructura pública, o como un mercado más que espera inversión privada que no llega? ¿Van las plataformas de mensajería a construir detección local, del lado del dispositivo, que respete el cifrado pero no abandone al usuario, o van a seguir cobijándose en que técnicamente no pueden y comercialmente no les conviene? ¿Van las estrategias nacionales de IA —el PBIA, la Estrategia mexicana, el Plan argentino— a incluir una línea presupuestaria concreta para capacidades soberanas de detección calibradas a nuestros idiomas y acentos, o van a quedar en documentos de aspiración? Y la más incómoda de todas: mientras esas decisiones se demoran, ¿quién paga la cuenta? La respuesta, hoy, ya la sabemos. La paga la abuela que transfirió el dinero a las tres de la mañana porque la voz era, sin ninguna duda, la de su nieto.