La trampa de la empatía sintética: por qué los chatbots de salud mental son herramientas incompletas
Hay un momento, en cualquier conversación con un chatbot de salud mental, en que la máquina dice exactamente lo que uno necesita oír. “Eso suena muy difícil.” “Tiene sentido que te sientas así.” “Estoy aquí para escucharte.” La frase llega calibrada, suave, sin juicio, a las tres de la mañana cuando ningún consultorio está abierto y ningún amigo responde el teléfono. Es ahí donde se decide todo. Porque esa frase no es un accidente: es el producto. Y entender qué tipo de producto es —cómo está construido, qué optimiza, qué no puede hacer aunque finja que sí— es la diferencia entre usar una herramienta y ser usado por ella.
Millones de personas en América Latina están teniendo esa conversación ahora mismo. No por entusiasmo tecnológico, sino por aritmética: hay demasiada gente sufriendo y muy pocos profesionales para atenderla. La promesa del chatbot de salud mental es seductora precisamente porque la escasez es real. Pero quiero proponer una tesis incómoda para quien busca consuelo y para quien vende soluciones: el problema central de estas herramientas no es que les falten datos, ni que su español sea torpe, ni que aún no estén suficientemente entrenadas. El problema es que les falta contexto clínico, y el contexto clínico no es un parámetro que se pueda afinar con más cómputo. Es una propiedad del encuentro humano que estas máquinas, por diseño, no tienen. Analizarlas como objetos técnicos —como cajas que reciben texto y devuelven texto— revela que la empatía que producen es sintética en el sentido más literal: fabricada, no sentida, y optimizada para retenernos antes que para cuidarnos.
La máquina que olvida
Empecemos por una limitación que casi nadie menciona porque suena demasiado prosaica: la mayoría de los chatbots conversacionales no recuerda quién eres entre una sesión y otra. Técnicamente, esto se debe a cómo funcionan los modelos de lenguaje grandes. Procesan una ventana de contexto —el texto que tienen enfrente en ese momento— y generan una respuesta, pero ese estado no persiste como un historial clínico a menos que la aplicación que envuelve al modelo lo construya deliberadamente y lo gestione con cuidado. Como nos recuerda Artificial Unintelligence, entender las realidades técnicas importa porque permite anticipar cómo, por qué y dónde las cosas saldrán mal en un escenario computarizado Artificial Unintelligence - How Computers Misunderstand. No hay magia, aunque los resultados parezcan asombrosos: hay capas de procesamiento que producen una ilusión de comprensión.
¿Por qué importa esto para la salud mental específicamente? Porque el deterioro psíquico se manifiesta en patrones a lo largo del tiempo. Un terapeuta humano nota que llevas tres semanas hablando del mismo conflicto con creciente desesperanza, que tu sueño se deteriora, que las palabras “no vale la pena” aparecen con más frecuencia. Ese reconocimiento longitudinal —ver la curva, no el punto— es donde reside buena parte del juicio clínico. Un chatbot que arranca cada conversación desde cero, o que solo conserva un resumen empobrecido de interacciones previas, está estructuralmente ciego a la trayectoria. Puede responder con perfecta calidez a un mensaje suicida y, al día siguiente, no tener idea de que ese mensaje existió. La empatía es momentánea; la vigilancia clínica, que es lo que de verdad protege a una persona en crisis, requiere memoria, y memoria responsable, no solo capacidad de almacenamiento.
Aquí conviene desconfiar del lenguaje de los proveedores. Cuando una empresa anuncia que su chatbot “recuerda tus conversaciones para ofrecer un acompañamiento personalizado”, está describiendo a la vez una mejora de producto y un riesgo de privacidad. Conservar el historial emocional de una persona —sus crisis, sus diagnósticos, sus confesiones nocturnas— en los servidores de una empresa privada convierte el dolor en dato. Y el dato, una vez capturado, sigue las leyes del dato: se agrega, se correlaciona, se monetiza. The Age of Surveillance Capitalism describió esta lógica con precisión: la experiencia humana se vuelve materia prima gratuita para prácticas comerciales de extracción y predicción The Age of Surveillance Capitalism. En salud mental, donde lo que se extrae es la intimidad más vulnerable, la apuesta es alarmante. Así que la herramienta enfrenta una contradicción técnica genuina: para ser clínicamente útil necesita memoria, pero la memoria la convierte en un archivo de vulnerabilidades sin marco legal que lo proteja en la mayoría de los países de la región.
El sesgo de la complacencia
Pasemos a la afirmación más contraintuitiva de todas: la amabilidad de estos chatbots puede ser peligrosa. No por un fallo, sino por su funcionamiento correcto según los incentivos que los diseñaron.
Los modelos de lenguaje conversacionales se afinan mediante procesos que premian las respuestas que los usuarios valoran positivamente. Una capa importante de ese afinamiento busca que el modelo sea servicial, agradable y no conflictivo —lo que en la jerga técnica se llama, con eufemismo revelador, “alineamiento”. El resultado práctico es un sistema con tendencia a la complacencia: valida, acompaña, suaviza, evita la confrontación. Para un producto de consumo cuya métrica de éxito es la retención —cuántos días seguidos abres la app, cuánto tiempo conversas— la complacencia es una virtud comercial. Mantiene al usuario enganchado, y un usuario enganchado es un usuario que vuelve.
Pero la terapia, cuando funciona, no siempre es agradable. A veces el trabajo clínico consiste en confrontar una distorsión, en no validar una conducta autodestructiva, en sostener un silencio incómodo en lugar de llenarlo con consuelo. Un chatbot optimizado para que te sientas escuchado puede, ante una persona con ideación suicida que racionaliza su plan, responder con una validación cálida del sufrimiento que —sin intención— refuerza la narrativa peligrosa en lugar de interrumpirla. La empatía sintética no distingue entre acompañar un duelo y reforzar una espiral. Está entrenada para la primera y carece del juicio para la segunda. Lo que para un producto de entretenimiento sería un rasgo deseable, en un contexto de crisis se vuelve un vector de daño.
Conviene además desconfiar de una palabra que estas herramientas usan con generosidad: “empatía”. The Atlas of AI es contundente al respecto: en muchos casos los sistemas de detección de emociones simplemente no hacen lo que afirman hacer The Atlas of AI - Power, Politics, and the Planetary Costs. Lo que cambia en relación con nuestras familias, culturas e historias —todos los contextos que viven fuera del marco de la IA— queda afuera del modelo. El chatbot no detecta tu emoción; detecta patrones estadísticos en tu texto y produce la respuesta que un corpus de entrenamiento asoció con esos patrones. Llamar a eso “empatía” es una operación de marketing que mistifica un mecanismo y, peor, sugiere una responsabilidad de cuidado que la máquina no puede asumir. Cuando despojamos la jerga, lo que queda es un autocompletado estadístico afinado para sonar comprensivo. Útil, a veces. Empático, nunca.
La caja negra que da consejos sin responder por ellos
Hay una asimetría en el corazón de estas herramientas que ningún folleto menciona: distribuyen consejos sin distribuir responsabilidad. Si un psicólogo licenciado comete una negligencia grave, existe un colegio profesional, un marco legal, una posibilidad de reparación. ¿Quién responde cuando un chatbot le dice algo dañino a una persona en crisis? El término de servicio que aceptaste sin leer casi siempre incluye una cláusula que declara que la aplicación “no sustituye atención profesional” y se exime de toda responsabilidad. La herramienta ocupa el lugar del terapeuta en la práctica, pero rechaza el lugar del terapeuta en la rendición de cuentas.
Esto es posible porque estos sistemas son, en lo técnico, cajas negras. No solo para el usuario, sino frecuentemente para sus propios desarrolladores: por qué un modelo de lenguaje produce una respuesta determinada y no otra es algo que ni siquiera quienes lo entrenaron pueden explicar con precisión causal. Artificial Unintelligence insiste en este punto con honestidad poco común: los programadores no son mejores que nadie para anticipar situaciones inesperadas y terribles Artificial Unintelligence - How Computers Misunderstand. Cuando la herramienta opera en un dominio donde lo inesperado y terrible es exactamente el caso que más importa —la crisis aguda, el riesgo suicida—, la imposibilidad de anticipar deja de ser un detalle técnico y se vuelve un problema ético central.
La opacidad tiene además una dimensión política. La mayoría de los chatbots de salud mental que circulan en América Latina son productos comerciales operados desde el norte global —Woebot y Wysa entre los más conocidos—, cuyos modelos, datos de entrenamiento y criterios de seguridad son secretos comerciales. No hay forma de auditar si el modelo fue evaluado con poblaciones latinoamericanas, si reconoce expresiones idiomáticas regionales del malestar, si sus protocolos de crisis contemplan los servicios de emergencia que existen —o no existen— en un país determinado. La caja negra no solo oculta el mecanismo: oculta cuánto del mundo que tú habitas fue considerado al construirla. Y la respuesta honesta, casi siempre, es: poco.
El espejismo del código abierto
Frente a esta opacidad surge una tentación razonable: si los productos comerciales son cajas negras extranjeras, construyamos los nuestros. Existen herramientas de código abierto —Rasa es la más mencionada para sistemas conversacionales— que permitirían a instituciones locales desarrollar asistentes adaptados a contextos regionales, en español rioplatense o andino, con protocolos de derivación a líneas de emergencia que sí existen en el país. La promesa es atractiva y merece tomarse en serio antes de descartarla o abrazarla.
Pero hay que ser preciso sobre lo que el código abierto resuelve y lo que no. Resuelve, en principio, la dependencia de un proveedor único y la auditabilidad: si el código está disponible, alguien con la competencia técnica puede inspeccionarlo. Lo que no resuelve es la escasez de esa competencia técnica. Adaptar, entrenar, mantener y, sobre todo, validar clínicamente un sistema conversacional requiere equipos que combinen ingeniería de aprendizaje automático, conocimiento clínico y recursos sostenidos en el tiempo. Esa combinación es exactamente lo que escasea en las instituciones de salud pública de la región, las mismas que García Canclini identificaba como lo que subsiste del Estado de bienestar, todavía con sentido de servicio social pero crecientemente erosionadas Ciudadanos reemplazados por algoritmos. Darle a un hospital público sin presupuesto para psicólogos un framework de código abierto no es darle una solución: es trasladarle un problema de ingeniería que no puede costear.
El código abierto, además, no es gratis en el sentido que importa. Es gratis la licencia; no lo es el cómputo para entrenar, ni el personal para mantener, ni el proceso —largo, caro, regulado— de validación clínica que distingue un experimento de un producto sanitario. Una herramienta que un equipo voluntario lanza con buenas intenciones pero sin validación no es más segura por ser abierta; es simplemente una caja negra más pequeña y peor financiada. La transparencia del código es necesaria pero no suficiente. Sin la capacidad institucional de ejercerla, la apertura se vuelve un gesto retórico: la libertad de inspeccionar algo que nadie en la institución tiene tiempo ni preparación para inspeccionar.
Las cinco lentes sobre el terapeuta de bolsillo
Conviene ahora mirar estas herramientas con el instrumental que esta región necesita, lente por lente, porque las características técnicas no flotan en el vacío: aterrizan en geografías desiguales.
Disponibilidad. Los productos más maduros —Woebot, Wysa— nacieron en inglés y ofrecen versiones parciales en español, lo que importa porque el malestar psíquico se nombra en la lengua materna con matices que la traducción aplana. Un modelo afinado sobre expresiones angloparlantes de la ansiedad puede no reconocer cómo un hablante de español andino o caribeño dice que está mal. Las alternativas locales emergen —existen apps comunitarias como Cuida tu Estado de Ánimo en Colombia—, pero con financiamiento precario que las vuelve frágiles ante cualquier recorte. La disponibilidad real no es “existe una app”, sino “existe una app que funciona en mi lengua, en mi contexto, y que seguirá existiendo el año que viene”. Bajo esa definición exigente, la disponibilidad es mucho menor de lo que sugiere la tienda de aplicaciones.
Accesibilidad. El chatbot es, en efecto, más barato que una sesión privada con un psicólogo —esa es su carta más fuerte y no hay que negarla. Pero requiere un smartphone y datos móviles, lo que reproduce exactamente la brecha que dice resolver. La población rural sin conectividad estable —la misma que vive más lejos de cualquier consultorio— queda fuera. La paradoja es cruel: la herramienta es más útil donde menos psicólogos hay, pero esas zonas suelen ser también donde menos conectividad existe. Las cifras del contexto regional ayudan a dimensionar la desigualdad: Chile, con un PIB per cápita de 16,709 dólares, encabeza la región en preparación para la IA con un índice ILIA de 70.2 sobre 100 Chile country profile (ILIA, World Bank 2024), mientras El Salvador, con 5,579 dólares per cápita, registra un ILIA de 42.9 El Salvador country profile (ILIA, World Bank 2024). La misma app instalada en un teléfono no significa lo mismo en Santiago que en una zona rural salvadoreña: la infraestructura sobre la que se apoya es radicalmente distinta. La accesibilidad técnica de la herramienta no compensa la inaccesibilidad estructural del territorio.
Aplicabilidad. Aquí hay que ser honesto en ambas direcciones. En zonas sin un solo psicólogo a cientos de kilómetros, un chatbot que ofrezca técnicas básicas de regulación emocional, psicoeducación y, sobre todo, una derivación clara a una línea de emergencia, puede ser genuinamente mejor que nada. La aplicabilidad es real para el malestar leve a moderado, para el insomnio ansioso, para la persona que necesita ordenar sus pensamientos. Pero esa misma aplicabilidad se desploma en la crisis severa, que es donde el costo de un error es máximo y donde la herramienta es estructuralmente más débil. Un objeto técnico que funciona bien en los casos de bajo riesgo y falla en los de alto riesgo distribuye sus aciertos y sus daños de manera inversamente proporcional a lo que importa.
Alternativas. No estamos eligiendo entre el chatbot y el vacío. Existen líneas telefónicas de apoyo —la Línea de la Vida en México es un ejemplo—, apps comunitarias, brigadas. La pregunta correcta no es “¿chatbot sí o no?” sino “¿qué lugar ocupa el chatbot en un ecosistema de cuidado que incluye humanos?”. Una línea telefónica atendida por personas capacitadas tiene desventajas —horarios, tiempos de espera, costo de operación— pero ofrece exactamente lo que al chatbot le falta: un humano que responde por lo que dice y que puede activar una intervención presencial. Comparar la herramienta con la nada infla su valor; compararla con las alternativas existentes la pone en su justo lugar como un componente, no como un reemplazo.
Anticipación. La pregunta que los gobiernos de la región deberían estar haciéndose no es cómo adoptar estos chatbots, sino cómo regularlos como lo que son: productos que intervienen en la salud. Eso implica tratarlos como dispositivos sanitarios sujetos a validación clínica, exigir transparencia sobre sus protocolos de crisis, establecer obligatoriamente mecanismos de derivación a servicios presenciales, y —esto es decisivo— co-diseñar versiones en lenguas originarias en vez de traducir desde el inglés. Anticipar significa construir el marco regulatorio antes de que la herramienta esté instalada en millones de teléfonos, no después de la primera tragedia evitable. La velocidad de adopción de estas apps supera con creces la velocidad de respuesta regulatoria, y esa brecha es precisamente donde el riesgo sistémico se acumula.
El contraargumento que merece respuesta
Sería deshonesto cerrar sin enfrentar la objeción más fuerte, que no viene de los vendedores sino de quienes trabajan de verdad en salud mental comunitaria: cuando la alternativa real es nada —ni psicólogo, ni línea telefónica, ni nadie—, ¿no es mejor un chatbot imperfecto que el silencio absoluto? La pregunta es legítima y la escasez que la motiva es brutalmente real. García Canclini lo describió con crudeza: cuando el costo de la atención la vuelve inaccesible, millones de enfermos limitan sus aspiraciones, recortan lo que se permiten esperar de su propia salud Ciudadanos reemplazados por algoritmos. En ese horizonte de expectativas mutiladas, exigir validación clínica perfecta puede sonar a privilegio de quien sí tiene acceso a un terapeuta.
Acepto la fuerza de la objeción, pero la respuesta no es rechazar la herramienta: es rechazar el falso binario que la objeción esconde. El argumento de “algo es mejor que nada” funciona solo si aceptamos que el “nada” es un dato natural e inmodificable, como el clima. Pero la ausencia de psicólogos en una región amazónica no es un hecho de la naturaleza: es el resultado de decisiones presupuestarias, de prioridades políticas, de un Estado de bienestar erosionado. Cuando se ofrece el chatbot como solución a esa ausencia, se corre el riesgo de naturalizarla —de convertir una carencia política en un problema técnico ya resuelto. “Ya tienen la app” puede volverse la excusa perfecta para no contratar al psicólogo que de verdad hace falta. La herramienta, vendida como puente hacia el cuidado humano, puede terminar funcionando como su coartada.
Esto no significa que no deba usarse. Significa que debe usarse con los ojos abiertos, como una medida paliativa y temporal dentro de un plan que avanza hacia la atención humana, nunca como el punto de llegada. La diferencia entre un paliativo honesto y una coartada cómoda está enteramente en si la herramienta viene acompañada de la inversión que pretende sustituir. Un chatbot desplegado junto a un plan de formación de psicólogos comunitarios es una cosa; el mismo chatbot desplegado en lugar de ese plan es otra muy distinta, aunque el código sea idéntico. El objeto técnico es el mismo; lo que cambia es la política que lo rodea.
Lo que queda abierto
Si analizamos estos chatbots como lo que son —objetos técnicos con propiedades específicas y no promesas abstractas de bienestar—, el diagnóstico se vuelve nítido. Su limitación no es transitoria, no se resuelve con la próxima versión del modelo ni con más datos en español. Es estructural: les falta memoria responsable para reconocer la trayectoria de un deterioro, les sobra complacencia por diseño comercial, operan como cajas negras que aconsejan sin responder, y su empatía es una operación estadística que el marketing reviste de cuidado. El código abierto ofrece auditabilidad pero no la capacidad institucional para ejercerla. Y todo esto aterriza en una región donde la conectividad, el idioma y el financiamiento dibujan mapas de desigualdad que la herramienta reproduce más de lo que corrige.
Quedan preguntas que la región tendrá que responder con urgencia, porque la adopción no espera. ¿Quién responderá legalmente cuando uno de estos sistemas cause daño, y bajo qué marco, en países donde la regulación de dispositivos sanitarios ni siquiera contempla el software conversacional? ¿Cómo se construye una validación clínica que use poblaciones latinoamericanas reales, con sus formas propias de nombrar el sufrimiento, en lugar de importar evaluaciones hechas en otra lengua y otra cultura? ¿Quién es dueño del archivo de intimidades que estos sistemas acumulan, y qué impide que el dolor capturado a las tres de la mañana termine convertido en perfil comercial? ¿Y cómo evitamos que la disponibilidad de una app se convierta en el argumento para no financiar al ser humano que de verdad podría cuidar?
La empatía sintética llegó para quedarse, no porque sea buena, sino porque la necesidad que explota es real y la respuesta humana es insuficiente. La tarea no es celebrarla ni prohibirla, sino mirarla sin la niebla del marketing: una herramienta incompleta, a veces útil, frecuentemente peligrosa, jamás un terapeuta. Tratarla como menos que eso sería ingenuo. Tratarla como más, sería abandonar a quien más necesita que alguien —alguien de verdad— responda.