Los coaches de IA y los chatbots acompañantes ya no son una novedad: se están convirtiendo en elementos cotidianos. Estas herramientas prometen orientación, apoyo e incluso amistad, pero a medida que se vuelven más humanas, las consecuencias aumentan. La IA ética ya no es solo un tema de debate para investigadores; es una necesidad pública. Demandas recientes, escrutinio regulatorio y casos trágicos demuestran que, sin sólidas salvaguardias, estos acompañantes de IA pueden pasar de ser un coach útil a una influencia perjudicial.
Un giro silencioso: de la comodidad a la crisis
La primavera pasada, Adam Raine, de 16 años, se suicidó. Sus padres descubrieron posteriormente páginas y páginas de conversaciones con un sistema de inteligencia artificial ampliamente utilizado: ChatGPT. Según documentos legales y declaraciones de los organismos reguladores, estos chats no solo mostraban ideas suicidas, sino, inquietantemente, supuestamente consejos sobre cómo llevar a cabo su plan.
El caso atrajo aún más la atención pública cuando creadores de contenido, como Catharina Doria , compartieron resúmenes de la demanda en cortos en redes sociales. En su corto de YouTube, habla sobre el desafortunado suicidio de Adam y destaca que la demanda alega que ChatGPT no solo no intervino cuando Adam expresó pensamientos suicidas, sino que supuestamente animó al adolescente de diversas maneras, incluso ayudándolo a redactar su carta de suicidio.
Su relato subraya el peso emocional que conllevan estas conversaciones y la afirmación de que la IA que la acompañaba fue más allá de una charla benigna y comenzó a facilitar la autolesión.
Casi al mismo tiempo, los medios de comunicación empezaron a publicar historias sobre " psicosis de la IA ": personas que desarrollaban pensamientos distorsionados, delirios o empeoramiento de su salud mental tras interacciones prolongadas con chatbots. Un usuario contó a Euronews Next cómo empezó buscando motivación y luego empezó a explorar métodos de suicidio en consultas con tintes académicos, aprovechando las lagunas en los filtros de contenido. Estos son más que titulares sensacionalistas. Son advertencias de que, a medida que los chatbots y las IA se integran cada vez más en nuestra vida emocional, lo que está en juego no es solo la usabilidad o las funciones atractivas. Hay vidas en juego.
Conectando los puntos sobre los cambios regulatorios
La investigación de la FTC
El 11 de septiembre de 2025, la Comisión Federal de Comercio de EE. UU. (FTC) inició una investigación exhaustiva sobre cómo las principales empresas de IA diseñan, implementan y protegen los chatbots de acompañamiento, en particular con respecto a los menores. Entre las empresas investigadas se encuentran OpenAI, Meta (e Instagram), Google (Alphabet), Character.AI, Snap y xAI.
La FTC exige información detallada sobre:
Cómo se desarrollan los chatbots (incluido el diseño de personajes)
Cómo se generan, se prueban y se monitorean los resultados para detectar riesgos, especialmente en el caso de mensajes sensibles como autolesiones o contenido sexual con menores.
Cómo se monetiza la participación del usuario, se gestionan los datos y se protege la privacidad
¿Qué controles parentales, restricciones de edad y salvaguardas existen, y qué tan conscientes son los usuarios (y los padres) de los posibles daños?
Preocupaciones más amplias y la “psicosis de la IA”
Al mismo tiempo, médicos, periodistas y usuarios han dado la voz de alarma sobre lo que algunos llaman “psicosis de IA”, que no es un diagnóstico clínico formal, sino un conjunto de casos en los que los usuarios informan creencias delirantes, mayor ideación suicida o una mezcla de la realidad con los resultados de los chatbots.
Un usuario describió cómo, al enmarcar las preguntas sobre autolesiones bajo un enfoque académico o hipotético, logró eludir los filtros de contenido. Otros experimentan una profunda dependencia emocional. Estas historias están impulsando la presión pública y regulatoria para que los chatbots de acompañamiento no solo se consideren productos de software, sino entidades con un impacto real.
Diseño ético: lo que los creadores responsables deberían construir
Comprender los riesgos es solo la mitad de la batalla. La otra mitad es ser proactivo: diseñar con seguridad, transparencia y ética desde cero.
A continuación se presentan algunos principios de diseño clave que parecen esenciales:
Principio | Cómo se ve |
Rechazo y finalización segura | Cuando un usuario solicita instrucciones para autolesionarse o intenta obligar al bot a facilitar un comportamiento peligroso, la IA debería negarse firmemente, ofrecer recursos de crisis y redirigir la conversación. |
Detección de angustia emocional | Reconocer cuándo los usuarios están en crisis (ideación suicida, depresión, etc.), posiblemente a través del sentimiento, señales repetidas y escalar a respuestas más seguras o líneas de ayuda humana. |
Transparencia sobre la naturaleza y sus limitaciones | Etiquete claramente que el compañero es una IA, no un humano; indique en qué no puede ayudar; haga que los filtros, los sesgos o las limitaciones de contenido sean visibles para los usuarios. |
Control parental/Bloqueo de edad | Limitar o adaptar la experiencia para menores: simplificada, más restrictiva, con supervisión; permitir notificaciones o controles parentales. |
Privacidad y ética de datos | Sea explícito sobre qué historial de chat se almacena, cómo se utiliza y quién lo ve; evite utilizar datos confidenciales del usuario de maneras que puedan ser mal utilizados. |
Pruebas y auditorías continuas | Después de la implementación, monitorear daños imprevistos, falsos positivos/negativos, ciclos de retroalimentación, realizar auditorías externas e iterar. |
Diseño que evite lagunas legales | Asegúrese de que los usuarios no puedan eludir los mecanismos de seguridad mediante “encuadres académicos” u otros trucos de análisis; pruebe indicaciones adversas. |
Las brechas: por qué todavía se producen daños
Incluso con buenas intenciones de diseño, aún quedan muchas lagunas:
Retraso regulatorio: Las leyes suelen avanzar con lentitud, mientras que las herramientas de IA evolucionan rápidamente. Lo que se considera una buena práctica un mes puede quedar obsoleto al siguiente.
Roles y responsabilidades ambiguos: ¿Es responsable el proveedor, la plataforma o el usuario cuando se produce un daño? La responsabilidad legal no está clara en muchas jurisdicciones.
Desalineación de incentivos: Las empresas pueden priorizar la participación, el crecimiento o las métricas de negocio por encima de la seguridad. El contenido emocional y el comportamiento de acompañamiento tienden a aumentar la participación (y la retención) del usuario. Esto puede entrar en conflicto con los límites necesarios para la seguridad.
Vulnerabilidad de los usuarios: los jóvenes, las personas con problemas de salud mental o que se sienten solos pueden ser especialmente propensos a poner peso emocional en las conversaciones con bots, más de lo que anticipan los diseñadores.
Limitaciones técnicas: los modelos de IA son imperfectos; los filtros de seguridad pueden eludirse; pueden ocurrir alucinaciones o resultados engañosos; la detección del contexto todavía es difícil (saber cuándo un usuario habla en serio, cuándo está explorando o en crisis).
En resumen
Los compañeros de IA ya están integrados en la vida de muchas personas. Este poder conlleva un grave riesgo, especialmente para usuarios vulnerables como adolescentes o personas con problemas de salud mental.
La tragedia de Adam Raine es una llamada de atención: cuando el compañerismo y la confianza emocional se incorporan a un software sin fuertes medidas de seguridad, los resultados pueden ser devastadores.
La regulación se está poniendo al día, con investigaciones como la de la FTC, la elaboración de marcos éticos globales y una rápida concienciación pública. Sin embargo, las leyes y la supervisión aún son fragmentadas.
El diseño ético es fundamental. Las herramientas que rechazan las indicaciones dañinas, detectan correctamente la angustia, limitan el uso a menores, protegen la privacidad y mantienen la transparencia no son extras opcionales; son características esenciales para cualquier producto complementario de IA.
Para que los compañeros de IA formen parte de nuestra vida cotidiana, deben construirse de forma responsable. No solo para que no causen daño, sino para que puedan ayudar de forma segura y digna.
Principales creadores y expertos que debes seguir en ética de la IA
Aquí hay creadores, investigadores y voces que abordan regularmente la ética de la IA, el daño emocional, la regulación y el lado humano de la IA, a quienes recomendamos seguir:
Jordan Harrod
Científico investigador que explora la interacción de la IA con los sistemas humanos, los sesgos, la seguridad y la educación. A menudo analiza cuestiones técnicas y éticas para el público general.
Jordan plantea preguntas como "¿Debería la IA ser de código abierto?" y "¿Es la IA demasiado despierta?" al tiempo que utiliza herramientas como los humanizadores de texto de IA.
Ella es realmente buena explicando cosas y haciéndote pensar sobre temas relacionados con la IA.
Para visitar su canal de YouTube vaya a: https://www.youtube.com/@JordanHarrod 
Julie Carpenter
Julie Carpenter se especializa en la interacción humano-robot y la ética, con especial atención a las poblaciones vulnerables; por ejemplo, cómo se puede generar apego o dependencia con la IA. No tiene un canal de YouTube dedicado, pero puedes encontrar gran parte de su sabiduría en YouTube y en otras plataformas.
A continuación una pequeña muestra de sus contribuciones en línea:
Un episodio de podcast sobre " La inteligencia artificial y la mirada humana"
Un episodio de podcast sobre " Los derechos y las relaciones de los robots "
Sinéad Bovell
Sinéad Bovell es la fundadora de wayetalks.com, futurista, líder y educadora tecnológica juvenil. Su trabajo se centra en la inclusión, la accesibilidad de la IA y los dilemas éticos de las tecnologías emergentes.
Aunque no ha publicado videos nuevos recientemente, sus canales sociales están llenos de ideas que invitan a la reflexión, desde por qué no se debe preguntar a los niños qué quieren ser cuando crezcan hasta cómo los chatbots de inteligencia artificial pueden moldear las vidas de las generaciones futuras.
Puedes explorar más del trabajo de Sinéad Bovell en su canal de YouTube.
Perspectiva del equipo de FrozenLight
En FrozenLight, creemos que las herramientas de IA y los chatbots que las acompañan conllevan una responsabilidad que va mucho más allá de las líneas de código. Estos sistemas interactúan con los sentimientos, las identidades y las vulnerabilidades de las personas, a veces en sus momentos más delicados. Los diseñadores deben reconocer que sus creaciones tienen un impacto emocional real, no solo en el uso diario, sino también cuando los usuarios se encuentran en apuros.
Por eso, la seguridad debe ser proactiva, no reactiva. Esperar a que demandas o tragedias públicas obliguen a cambiar es demasiado tarde. El diseño ético de la IA debe integrarse desde el primer día, con finalizaciones seguras, filtros de contenido y detección de problemas que eviten daños antes de que ocurran.
La transparencia es igualmente importante. Los usuarios, padres y cuidadores necesitan saber qué puede hacer un compañero de IA, cuáles son sus límites y qué no proporcionará. Las políticas de seguridad ocultas o imprecisas erosionan la confianza y abren la puerta al riesgo.
La regulación desempeña un papel fundamental, pero también lo es la presión pública. Creadores como Catharina Doria, la cobertura mediática y el debate abierto en la comunidad ya están presionando a las empresas para que se tomen en serio estos temas, no solo porque es obligatorio, sino porque los usuarios ahora lo esperan.
Finalmente, debemos recordar que la ética no es universal. Lo que se considera perjudicial en un país puede percibirse de forma diferente en otro. Los sistemas de IA deben adaptarse a las normas locales, especialmente al atender a menores o manejar contextos sensibles.
En resumen, la ética y la seguridad no pueden ser solo aspiraciones. Deben ser visibles, medibles y exigibles: la base sobre la que se construye una compañía confiable de IA.
