La era del engaño sintético: cuando todos miran lo que la IA dice y nadie mira qué es

Esta semana el debate se organizó, como casi siempre, alrededor del contenido. Voces clonadas que vacían cuentas bancarias. Deepfakes que circulan en una segunda vuelta electoral. El Ministerio de Tecnologías de la Información y las Comunicaciones de Colombia montando un aparato de monitoreo para vigilar el material sintético durante la campaña. La pregunta que todos hacen es la misma: ¿es verdadero o falso este video, este audio, esta llamada? ¿Cómo lo verificamos?

McLuhan pasó su vida advirtiendo contra exactamente ese reflejo. El contenido, decía, es el pedazo de carne que el ladrón le tira al perro guardián de la mente para distraerlo mientras entra a robar. Mientras discutimos si tal clip es auténtico, el medio nuevo ya reorganizó la estructura de la confianza sin pedirnos permiso. Y esa reorganización —no el clip— es el mensaje.

El marco de McLuhan aplicado a esta semana produce una inversión incómoda. La crisis no es que la IA produzca engaños convincentes. La crisis es qué tipo de medio es una tecnología capaz de producir engaños convincentes a costo casi cero. Esa es una pregunta distinta, y las instituciones —MinTIC incluido— la están evitando.

El medio es el mensaje, no el deepfake

La frase más citada de McLuhan —“el medio es el mensaje”— casi siempre se malentiende. No dice que el contenido no importe. Dice que el contenido nos hipnotiza tanto que dejamos de ver el medio. Y el medio, la forma misma de la tecnología, es lo que rehace nuestros hábitos, nuestra atención, nuestras relaciones. Un ejemplo llano: la bombilla eléctrica no tiene contenido, y sin embargo reorganizó por completo cómo vivimos el día y la noche. El medio hizo su trabajo sin decir una sola palabra.

Apliquemos esto al engaño sintético. Todo el discurso público de la semana trata el deepfake como contenido: este video es falso, hay que desmentirlo, hay que etiquetarlo. Pero el marco mcluhaniano pregunta otra cosa. ¿Qué tipo de medio es una tecnología que hace la producción de falsificaciones tan barata que desmentirlas se vuelve imposible a escala?

El AI-Index-Report-2024 documenta el costo con una precisión que da escalofríos. Describe un sistema completo de desinformación que fabrica un artículo falso, lo atribuye a un periodista inexistente, genera comentarios automáticos para simular engagement orgánico, y luego busca en X tuits relevantes para responder con el artículo falso haciéndose pasar por usuario real. El informe anota el precio: HAI_AI-Index-Report-2024 —“the entire setup for this authentic-appearing misinformation system only costs around $400.”

Cuatrocientos dólares. Ese número es el mensaje. No el artículo falso, no el periodista inventado, no los comentarios simulados. El mensaje es que la asimetría entre producir mentira y desmentirla acaba de invertirse de manera permanente. Antes, fabricar una falsificación creíble costaba caro y desmentirla salía barato. Ahora es al revés. Y esa inversión de costos reorganiza toda la economía de la confianza, sin que ningún deepfake en particular tenga que ser convincente.

McLuhan diría que estamos hipnotizados por el filete. El clip electoral colombiano es el contenido que ocupa el debate. Los cuatrocientos dólares son el medio. Y el medio es lo que va a cambiarnos.

Extensión y amputación: qué facultad se atrofia

La segunda gran herramienta de McLuhan es el par extensión/amputación. Cada tecnología extiende una facultad humana, y al extenderla, amputa o adormece algo. El automóvil extiende el pie y atrofia la pierna. La escritura extiende la memoria y atrofia la capacidad de recordar sin apuntes. La extensión nunca viene sola. Siempre trae su amputación de la mano.

¿Qué extiende el engaño sintético? Extiende la facultad de fingir presencia. La voz clonada extiende la voz de tu hijo, de tu jefe, de tu banco, hasta ponerla en un teléfono donde tú no estás. El deepfake extiende el rostro de un candidato hasta hacerlo decir lo que nunca dijo. Estas tecnologías extienden la señal de identidad —eso que antes garantizaba que quien te hablaba era quien decía ser— y la separan del cuerpo que la producía.

¿Y qué amputan? Amputan la fiabilidad del reconocimiento. Durante toda la historia humana, reconocer una voz o un rostro fue un atajo confiable. La voz de tu madre era la voz de tu madre. Esa certeza sensorial era un pilar de la vida social. El engaño sintético la corta. No la corta para un video en particular; la corta como facultad. Una vez que sabés que cualquier voz puede clonarse, ya no podés confiar en ninguna voz sin verificación externa. La amputación no es de una confianza específica. Es de la confianza como reflejo.

El libro After shock nombra esta pérdida con exactitud. Advierte que los desafíos a nuestra capacidad de discernir lo auténtico “fundamentally impact our understanding of the world and the future” —After shock. El mismo libro describe el efecto acumulativo sobre la gente común: “As politicians preach more xenophobia, online influencers chase views, and the media curates sensationalism, we the people get assaulted by the fake all around us. And sometimes we reflexively create it ourselves through what we share online.”

Esa última frase importa. La amputación no nos deja pasivos. Nos vuelve, sin darnos cuenta, cómplices. Al compartir por reflejo, extendemos el engaño con nuestras propias manos. McLuhan llamaba a esto el efecto Narciso: nos enamoramos de nuestra propia extensión y nos volvemos su servomecanismo, su pieza de maquinaria. El engaño sintético no solo nos engaña. Nos recluta.

Medios calientes y fríos: por qué la voz clonada es tan peligrosa

McLuhan dividía los medios en calientes y fríos según cuánta información entregan y cuánta participación exigen. Un medio caliente entrega mucho detalle y pide poca participación —la fotografía, el cine, la radio. Un medio frío entrega poco detalle y exige que el receptor complete el resto —la caricatura, el teléfono, la conversación. La distinción no es de calidad. Es de temperatura sensorial: cuánto trabajo hace el medio por vos, y cuánto te deja hacer a vos.

Esta herramienta ilumina algo que el debate de la semana no ve. La estafa por voz clonada es tan efectiva precisamente porque el teléfono es un medio frío. Cuando escuchás la voz de un familiar por teléfono, tu mente completa activamente lo que falta. Llenás los huecos con tu memoria, tu afecto, tu contexto. El teléfono te deja hacer casi todo el trabajo. Y ese trabajo de completado es exactamente donde el engaño se instala.

Un deepfake de video, en cambio, es más caliente: entrega el rostro, el fondo, el movimiento. Cuanto más detalle entrega, más superficie ofrece para que un ojo entrenado detecte la falla —el parpadeo raro, la sombra imposible, el borde borroso. Pero la voz clonada por teléfono no te da nada que examinar. Te da una señal fría que tu propio cerebro calienta con confianza. Sos vos quien pone la certeza. El medio solo pone el gatillo.

Por eso las estafas de voz vacían cuentas con una eficacia que los deepfakes de video no alcanzan. No es que la clonación de voz sea técnicamente superior. Es que opera en un medio frío, donde la víctima colabora sin saberlo. El marco de McLuhan predice cuál vector de engaño va a ser más letal, y no es el más espectacular. Es el que más participación silenciosa te exige.

El AI-Index-Report-2024 registra un caso electoral que confirma la lógica. Describe un clip de audio manipulado cuya circulación se vio facilitada por un vacío en la política de contenidos de Meta, que —anota el informe— “does not apply to audio manipulations” —HAI_AI-Index-Report-2024. El audio se coló porque las instituciones estaban vigilando el medio caliente, el video, mientras el medio frío pasaba por debajo. Las plataformas construyeron sus defensas para lo visible y espectacular. El engaño más efectivo entró por lo invisible y participativo.

La respuesta institucional: vigilar el contenido, ignorar el medio

Aquí el marco de McLuhan se vuelve una crítica directa del poder, y conviene no suavizarla. La respuesta de MinTIC al engaño sintético en la segunda vuelta colombiana es el monitoreo: un aparato técnico que vigila el material que circula para detectar y marcar lo falso. Es una respuesta de contenido. Persigue clips. Y por eso está condenada a llegar tarde.

McLuhan tenía una imagen para esto: manejar mirando el espejo retrovisor. Enfrentamos cada medio nuevo con los reflejos del medio anterior. Vemos el presente por el retrovisor y marchamos hacia el futuro de espaldas. El monitoreo de contenido es puro retrovisor. Trata la desinformación sintética como si fuera propaganda impresa —algo que se produce en cantidad limitada, se distribuye por canales rastreables, y se puede interceptar pieza por pieza. Pero ya vimos el número: cuatrocientos dólares por un sistema entero, autónomo, que se replica solo. No hay monitoreo que gane esa carrera de costos.

El marco mcluhaniano revela lo que la vigilancia técnica esconde a plena vista. Cuando quien controla la duda controla la decisión —como dice el planteo de la semana— el problema deja de ser cuáles clips son falsos. El problema pasa a ser que la existencia misma del engaño barato envenena la confianza en todo, incluido lo verdadero. Este es el efecto más perverso: una vez que cualquier audio puede ser falso, el político grabado diciendo algo real puede desmentirlo llamándolo deepfake. La duda se vuelve un arma que corta en ambas direcciones. La vigilancia del contenido no toca esto, porque esto no es contenido. Es la nueva gramática de la credibilidad.

Y aquí hay algo que McLuhan, por sí solo, tendía a pasar por alto, y que otras obras del corpus corrigen. El engaño sintético no cae del cielo tecnológico. Tiene dueños e intereses. The Atlas of AI insiste en que estos sistemas convierten “an infinitely complex and changing universe into a Linnaean order of machine-readable tables”, identificando y nombrando algunos rasgos “while ignoring or obscuring countless others” —The Atlas of AI - Power, Politics, and the Planetary Costs. El deepfake es esa operación llevada al extremo: reduce una persona a un conjunto de rasgos capturables —voz, rostro, gesto— y descarta todo lo demás. Y alguien decide qué rasgos capturar y con qué fin.

McLuhan describía el cómo del medio. Pero el interés del lector exige también preguntar el para quién. ¿Quién se beneficia de una era donde la duda es barata de sembrar? No el ciudadano que ya no puede confiar en la voz de su banco. No el votante que ya no sabe si el audio es real. Se benefician quienes tienen recursos para fabricar duda a escala y credibilidad para ellos mismos. La asimetría de costos es también una asimetría de poder. El monitoreo institucional, al enfocarse en el contenido, deja esa asimetría intacta.

La aldea global y la simultaneidad del fraude

McLuhan acuñó “aldea global” para describir cómo los medios eléctricos colapsan la distancia y ponen todo en todas partes al mismo tiempo. La frase se usa hoy con optimismo comercial —conexión, cercanía, comunidad—. McLuhan la entendía de manera más ambivalente. La aldea también es el lugar del chisme, del rumor que corre más rápido que el desmentido, de la reputación destruida antes de que nadie verifique.

El engaño sintético es la aldea global en su fase más aguda. Un audio falso de un candidato puede estar en millones de teléfonos antes de que exista una respuesta. El AI-Index-Report-2024 lo describe con precisión clínica en el caso electoral: cuando el comentario de medios y políticos está restringido, “the clip’s dissemination was not easily contested” y esa circulación amplia “occurred against the backdrop of a close electoral contest” —HAI_AI-Index-Report-2024. La simultaneidad eléctrica no da tiempo para el desmentido. El fraude viaja a la velocidad de la aldea; la verdad todavía se está poniendo los zapatos.

Y hay una capa más. After shock describe cómo las firmas de análisis construyen “personas” para “neatly describe large categories of people in terms of their beliefs, passions, and motivations” —After shock. Junten eso con el engaño sintético y aparece la maquinaria completa: no solo se fabrica una mentira barata, se la ajusta al perfil psicológico de cada aldeano para que le entre por donde menos resiste. El deepfake genérico es solo el principio. El engaño sintético personalizado —el audio de tu banco, con tu nombre, en el momento en que esperabas una llamada— es la extensión que amputa la última defensa: la sensación de que esto no me va a pasar a mí.

McLuhan advertía que en la aldea global perdemos la distancia crítica. La distancia física antes daba tiempo para dudar. La inmediatez eléctrica lo borra. El engaño sintético explota ese borramiento. Nos alcanza antes de que podamos pensar, en el medio frío donde completamos con confianza, atribuido a la voz que reconocemos. Todas las condiciones que McLuhan describió como estructura de la aldea global convergen en el fraude perfecto.

La pregunta que el marco deja sobre la mesa

Si el medio es el mensaje, entonces la respuesta al engaño sintético no puede ser solo mejor detección de contenido. Detectar clips falsos es correr detrás de un medio que produce falsedad más rápido y más barato de lo que cualquier detector puede seguir. Es manejar mirando el retrovisor mientras la carretera cambia.

Lo que el marco de McLuhan hace visible es esto: la crisis no es de verificación, es de estructura. La confianza en la voz, en el rostro, en la señal de identidad, era una infraestructura sensorial que sostenía la vida social. El engaño sintético no la contamina caso por caso. La deroga como principio. Y una infraestructura derogada no se repara con etiquetas ni con monitoreo. Se repara —si se repara— rehaciendo desde cero cómo establecemos que alguien es quien dice ser.

MinTIC vigila los clips. Meta filtra los videos y deja pasar el audio. Las instituciones, todas, están enfocadas en el filete que el ladrón le tiró al perro. Mientras tanto, el medio nuevo entra a la casa y reorganiza los muebles de la confianza. Nadie votó por esa reorganización. Nadie la discutió. Simplemente ocurrió, a cuatrocientos dólares la instalación.

La pregunta que el marco de McLuhan deja sobre la mesa, entonces, no es “¿cómo detectamos mejor los deepfakes?”. Esa pregunta ya acepta la trampa del contenido. La pregunta es otra, y es más dura: si damos forma a nuestras herramientas y luego ellas nos dan forma a nosotros, ¿en qué nos está convirtiendo una tecnología que hace de la duda un producto barato y de la certeza un lujo caro?

Una sociedad donde reconocer una voz ya no significa nada es una sociedad distinta a la que teníamos hace cinco años. No peor en todo, no mejor en nada obvio —distinta en su gramática básica de la confianza. Esa transformación es el mensaje. El deepfake electoral es apenas el contenido que nos distrae mientras la transformación se completa. Y el interés del lector —de la ciudadana que recibe la llamada de una voz clonada, del votante que ya no sabe qué creer— exige que dejemos de mirar el filete y empecemos a mirar quién entró a la casa, qué se está llevando, y quién decidió que la puerta quedara abierta.