Cuando la duda se vuelve barata: el engaño sintético leído con Kuhn

Hay una frase que conviene tomar en serio esta semana: quien controla la duda, controla la decisión. Las estafas por voz clonada vacían cuentas bancarias. Los deepfakes electorales circulan mientras MinTIC monitorea la segunda vuelta colombiana. Y la respuesta institucional, casi por reflejo, es técnica: más vigilancia, más detección, más filtros. La pregunta que casi nadie hace es la más importante. ¿Estamos ante un problema nuevo, o ante uno viejo que se abarató tanto que rompió el sistema con que lo manejábamos?

Thomas Kuhn pasó su vida estudiando cómo las comunidades cambian de modo de ver. Su tesis central es incómoda para quien cree que el conocimiento avanza sumando datos. Kuhn sostenía que la ciencia no progresa acumulando hechos dentro de un marco fijo. Progresa cuando el marco mismo se rompe. Ese marco compartido —el conjunto de problemas que una comunidad considera resolubles, y los modos aceptados de resolverlos— él lo llamó paradigma. Traducido a lengua llana: es el mapa mental que un grupo usa sin darse cuenta de que lo usa.

El engaño sintético de esta semana no es, en el sentido de Kuhn, una anomalía de laboratorio. Es algo más grande. Es una grieta en el paradigma con que las sociedades vienen decidiendo qué es verdad desde hace siglos. Vale la pena mirarla con la herramienta kuhniana, porque distingue entre tres cosas que el discurso público suele confundir: un puzzle normal, una anomalía genuina, y una crisis de paradigma. Solo una de las tres exige que cambiemos de mapa.

El paradigma silencioso de la verificación

Durante buena parte de la historia moderna operó un paradigma que casi nadie enunció en voz alta porque no hacía falta. Se podía llamar el paradigma de la huella. La idea era simple: producir una falsificación convincente cuesta trabajo, y ese trabajo deja rastro. Falsificar una firma requiere pulso. Falsificar una voz requería, hasta hace poco, un imitador con talento. Falsificar un video era tarea de estudios de cine con presupuesto. El costo de producir el engaño era la barrera que sostenía la confianza.

Dentro de ese paradigma, la sociedad resolvía sus puzzles. En el vocabulario de Kuhn, un puzzle es un problema que el marco vigente considera resoluble con sus propias herramientas. ¿Este billete es falso? Hay peritos. ¿Esta firma es auténtica? Hay grafólogos. ¿Esta grabación fue editada? Hay técnicos de audio. Cada caso difícil se resolvía sin cuestionar el mapa. La comunidad —jueces, periodistas, banqueros, votantes— compartía una intuición de fondo: lo auténtico y lo falso dejan señales distintas, y con esfuerzo se pueden separar.

Kuhn llamaba ciencia normal a esta actividad de resolver puzzles dentro del marco. No es despectivo. La ciencia normal es la mayor parte del trabajo intelectual de cualquier comunidad, y es donde se acumula competencia real. El problema aparece cuando el mundo empieza a producir casos que el marco no puede resolver con sus herramientas. Ahí ya no hablamos de un puzzle. Hablamos de una anomalía.

Y aquí es donde el dato de esta semana se vuelve filoso. El AI Index Report documenta un sistema completo de desinformación que se construye por muy poco dinero. La descripción es escalofriante en su banalidad:

attributed to a fake journalist and posted on the CounterCloud website. Subsequently, another AI system generates comments on the counter-article, creating the appearance of organic engagement. Finally, an AI searches X for relevant tweets, posts the counter-article as a reply, and comments as a user on these tweets. The entire setup for this authentic-appearing misinformation system only costs around $400.

Cuatrocientos dólares. Ese número es la grieta. En el paradigma de la huella, el costo de producir el engaño era la muralla que protegía la confianza. Cuando esa muralla cuesta cuatrocientos dólares, ya no es muralla. Es decoración.

De puzzle a anomalía: cuándo el mapa deja de servir

La distinción de Kuhn entre puzzle y anomalía no es un tecnicismo. Es la diferencia entre un problema que se soluciona sin cambiar de mapa, y uno que solo se soluciona cambiando el mapa. Y todo el debate público sobre deepfakes vive confundido en este punto.

Las instituciones tratan el engaño sintético como puzzle. Lo dicen sin decirlo cada vez que anuncian una herramienta de detección. La lógica es: si la IA aprendió a falsificar, entrenaremos otra IA para detectar la falsificación. Un peritaje automatizado. Un grafólogo de silicio. Es la respuesta natural dentro del paradigma de la huella, porque supone que lo falso todavía deja una señal separable, aunque ahora se necesite una máquina para leerla.

El propio AI Index Report muestra por qué esa respuesta llega tarde:

ificantly easier to generate such disinformation. Moreover, deepfake tools have significantly improved since the 2020 U.S. elections. Large-scale disinformation can undermine trust in democratic institutions, manipulate public opinion, and polarize public discussions.

Fíjese en la estructura del problema. El detector y el falsificador entrenan uno contra el otro. Cada mejora del detector se convierte en material de entrenamiento para el siguiente falsificador. Es una carrera donde el que produce el engaño siempre corre un paso adelante, porque adaptarse a la detección es exactamente lo que la técnica sabe hacer. El puzzle no se resuelve. Se renueva más rápido de lo que se cierra.

Cuando un problema se resiste a las herramientas del marco no una vez, sino sistemáticamente, Kuhn diría que dejó de ser puzzle. Se volvió anomalía. Y una anomalía que se acumula empuja hacia lo que él llamaba crisis: el estado en que la comunidad empieza a sospechar que el mapa entero está mal, aunque todavía no tenga uno mejor.

El engaño sintético produce anomalías en cadena. La grabación de audio del caso electoral que el informe menciona es un ejemplo perfecto:

when media and politicians’ commentary is restricted, the clip’s dissemination was not easily contested. The clip’s wide circulation was also aided by a significant gap in Meta’s content policy, which does not apply to audio manipulations. This episode of AI-enabled disinformation occurred against the backdrop of a close electoral contest.

El clip circuló y no se pudo contestar a tiempo. La política de contenidos ni siquiera cubría el audio. El paradigma de la huella asumía que lo falso puede desmentirse antes de que decida una elección. Pero el engaño sintético invierte la economía del tiempo. Producir la duda es instantáneo. Desmentirla es lento, caro, y llega cuando el voto ya se emitió. El engaño es barato de producir y carísimo de desmentir. Esa asimetría no es un detalle técnico. Es la anomalía que el viejo mapa no puede procesar.

La crisis no es de detección, es de decisión

Aquí conviene ser preciso sobre qué se rompe exactamente, porque las instituciones se equivocan de fractura. Creen que el problema es distinguir lo falso de lo verdadero. El problema real es más profundo: el engaño sintético destruye la confianza incluso en lo verdadero.

Cuando cualquier voz puede ser clonada, la voz auténtica pierde su valor de prueba. Cuando cualquier video puede ser fabricado, el video real deja de convencer. El político sorprendido en una grabación genuina puede ahora decir, con perfecta cara de póker, que es un deepfake. Y no hay modo barato de refutarlo. La duda se volvió un recurso que cualquiera puede desplegar a voluntad. Esto es lo que significa que quien controla la duda controle la decisión.

Un libro que aparece en el corpus de esta semana lo formula con crudeza. En After shock se lee que el desafío no es solo la información falsa, sino algo más hondo:

to be an accurate historical record actually is. While bad information may be the least of the risks that threaten the safety of children online, challenges to our ability to discern what is authentic fundamentally impact our understanding of the world and the future.

Nuestra capacidad de discernir qué es auténtico. Eso es lo que se agrieta. Y no es un puzzle de detección. Es una crisis del paradigma completo con que una sociedad decide. Kuhn insistía en que la crisis no se resuelve con más ciencia normal. No se sale de una crisis de paradigma perfeccionando las herramientas del paradigma en crisis. Se sale cambiando de paradigma —un proceso lento, doloroso, y que ninguna herramienta de detección puede acelerar.

El mismo libro describe cómo el engaño ya no viene solo de afuera. La sociedad se lo produce a sí misma:

As politicians preach more xenophobia, online influencers chase views, and the media curates sensationalism, we the people get assaulted by the fake all around us. And sometimes we reflexively create it ourselves through what we share online.

Este punto es central y las respuestas técnicas lo ignoran. El detector supone un enemigo externo: una fábrica de mentiras que hay que atrapar. Pero cuando cada usuario reenvía por reflejo lo que confirma su miedo, el engaño no tiene una fuente que se pueda filtrar. Circula por la estructura misma de la atención. Ningún clasificador entrenado contra deepfakes resuelve el hecho de que la gente comparte lo falso porque quiere que sea verdad. Ese es un problema de paradigma, no de píxeles.

Inconmensurabilidad: por qué las instituciones y la sociedad hablan de al lado

Kuhn acuñó un término difícil para un fenómeno que todos hemos vivido: inconmensurabilidad. En lengua llana: dos comunidades que hablan una al lado de la otra, sin lograr entenderse, porque sus ejemplos de buen trabajo son distintos. No es que una tenga razón y la otra no. Es que miden el éxito con reglas incompatibles, y por eso la conversación nunca converge.

Esta semana hay dos comunidades hablando de al lado, y conviene nombrarlas.

La primera es la de las instituciones. Su ejemplar de buen trabajo es la detección exitosa. MinTIC monitorea. Meta ajusta su política de contenidos. Los bancos despliegan verificación biométrica. Para esta comunidad, resolver el problema significa: mejorar la tasa a la que se atrapa lo falso. Su mapa es técnico. Su métrica es el rendimiento del filtro.

La segunda es la sociedad que sufre el engaño. Su ejemplar de buen trabajo no es la detección. Es la confianza. Un ciudadano que recibe una llamada con la voz clonada de su hija pidiendo dinero no necesita un detector. Necesita saber en quién puede confiar cuando ya no puede confiar en su oído. Su mapa no es técnico. Es social. Su métrica es si todavía puede decidir con tranquilidad a quién creerle.

Estas dos comunidades no convergen, y Kuhn explica por qué. Leen el caso a través de marcos inconmensurables. La institución que celebra un detector más preciso no ve que la sociedad ya perdió la confianza que el detector supuestamente protege. La confianza no se restaura con precisión técnica. Un ciudadano no confía más en una elección porque exista un buen clasificador de deepfakes que él no puede auditar ni entender. Al contrario: la existencia misma del clasificador le recuerda que el engaño es tan bueno que hace falta una máquina para atraparlo.

The Atlas of AI describe la operación de fondo que hace la técnica cuando reemplaza lo social por lo formal:

the social, and convert an infinitely complex and changing universe into a Linnaean order of machine-readable tables. Many of AI’s achievements have depended on boiling things down to a terse set of formalisms based on proxies: identifying and naming some features while ignoring or obscuring countless others.

Convertir lo social en tablas legibles por máquina. Eso es precisamente lo que hace la respuesta institucional al engaño sintético. Trata la confianza —una relación social, densa, histórica— como si fuera una propiedad detectable en un archivo de audio. Nombra algunas características, la señal de manipulación, y oscurece las demás: el miedo, la prisa, el deseo de creer, la ausencia de instituciones creíbles a las cuales acudir. El proxy técnico sustituye al fenómeno social. Y el fenómeno social sigue ahí, sin resolver, mientras la comunidad institucional celebra su métrica.

LATAM: el paradigma importado y la crisis local

Hay una capa más, y es la que el marco kuhniano ilumina mejor para un lector latinoamericano. La retórica del “cambio de paradigma” que rodea a la IA llega a la región como importación antes que como descripción. Se anuncia una revolución tecnológica en el Norte, y llega al Sur el vocabulario de la revolución, junto con las herramientas, pero sin el contexto que las produjo.

El caso del engaño sintético lo expone con nitidez. Meta ajusta su política de contenidos —o descubre que su política ni siquiera cubría el audio— pensando en elecciones que no son las latinoamericanas. La segunda vuelta colombiana ocurre bajo el monitoreo de una entidad estatal que hereda categorías, herramientas y marcos diseñados en otra parte, para otro paradigma de confianza. La anomalía es global. Pero la crisis se vive en instituciones locales que no diseñaron las herramientas con que intentan enfrentarla.

Kuhn recordaba que un paradigma no se aprende leyendo su definición. Se aprende trabajando con sus ejemplares, es decir, con casos concretos que enseñan a la comunidad qué cuenta como buen trabajo. Cuando el paradigma se importa sin sus ejemplares —sin la historia de casos que le dio sentido— llega como cáscara. La región recibe la palabra “deepfake”, recibe los detectores, recibe el marco regulatorio, pero no recibió la lenta acumulación de experiencia que en otro lugar enseñó cuándo esas herramientas sirven y cuándo no.

AI Ethics, en el corpus de esta semana, insiste en algo que la importación de paradigmas suele borrar: no todos los usuarios son iguales de vulnerables.

Some users of AI are also more vulnerable than others. Theories of privacy and exploitation often assume that the user is an autonomous and relatively young and healthy adult human being with full mental capacities.

El paradigma importado asume un usuario abstracto: informado, escéptico, con acceso a herramientas de verificación. La abuela que recibe la voz clonada de su nieto no es ese usuario. El votante rural que ve el clip antes de que nadie pueda desmentirlo no es ese usuario. La crisis de verificación golpea más fuerte donde las instituciones de confianza son más débiles —y en buena parte de la región lo son. Importar el detector no importa la institución. Y la institución es lo que la crisis kuhniana exige reconstruir.

Lo que el marco hace visible

Sirve cerrar volviendo a la pregunta que Kuhn hace más filosa que ninguna otra herramienta. Ante un fenómeno que todos llaman revolucionario, su marco obliga a distinguir: ¿es ciencia normal disfrazada, anomalía genuina, o crisis de paradigma?

El engaño sintético no es ciencia normal disfrazada. No es un puzzle más dentro del viejo mapa de la verificación. La economía cambió: producir la duda se volvió instantáneo y barato, desmentirla se quedó lento y caro. Esa asimetría es una anomalía genuina, y se acumula elección tras elección, estafa tras estafa, hasta convertirse en crisis. El paradigma de la huella —lo falso deja rastro, el rastro se peritaje— dejó de sostener las decisiones que sostenía.

De aquí sale la implicación editorial que importa al lector, no al proveedor de detectores ni a la institución que compra vigilancia. La respuesta técnica trata una crisis de paradigma como si fuera un puzzle de ciencia normal. Y Kuhn era categórico en que eso no funciona. No se sale de una crisis perfeccionando las herramientas del marco en crisis. La detección automática, por buena que sea, no reconstruye la confianza social que el engaño sintético destruyó. Solo produce una carrera armamentística que el falsificador gana por diseño.

Lo que la crisis exige es más difícil y menos vendible que un detector. Exige reconstruir las instituciones de confianza —el periodismo verificado, los procesos electorales auditables por ciudadanos comunes, los canales por donde una familia confirma que la llamada es real— de modo que la sociedad pueda decidir sin depender de una máquina que no entiende ni controla. La confianza es una relación social. No se compra en forma de software.

La pregunta, entonces, no es cuál detector adoptar. La pregunta es si las instituciones latinoamericanas van a reconocer que están en crisis de paradigma, o van a seguir resolviendo puzzles con herramientas importadas mientras el mapa entero se les deshace en las manos. Kuhn advertía que las comunidades se aferran al viejo paradigma mucho después de que dejó de funcionar, porque no tienen otro. El costo de ese aferramiento, esta vez, no lo pagan los científicos. Lo paga cualquiera cuya voz pueda ser clonada, cuyo voto pueda ser manipulado, cuya duda pueda ser fabricada por cuatrocientos dólares. Es decir, todos.