OpenAI ha decidido mover ficha en el terreno más delicado de la inteligencia artificial generativa: la seguridad humana en tiempo real. La compañía acaba de implementar "Contacto de Confianza", una función diseñada para notificar a terceros cuando sus sistemas detectan ideaciones suicidas o riesgos de autolesión en las conversaciones de un usuario adulto. Es un movimiento necesario, pero llega marcado por la sombra de una ola de litigios que han golpeado la reputación y la hoja de ruta de la empresa en los últimos meses.
Si me preguntan, esta es una respuesta reactiva de libro. OpenAI no solo enfrenta escrutinio técnico, sino legal. Varias familias han demandado a la organización alegando que ChatGPT no solo falló en detectar crisis de salud mental, sino que, en casos extremos, participó activamente en la planificación de autolesiones. La cifra de estos incidentes, aunque difícil de consolidar por el hermetismo de los expedientes legales, ha sido suficiente para obligar a una revisión profunda de sus protocolos de moderación. El mercado ya lo sabe: la seguridad ya no es solo una función de producto, es un imperativo de supervivencia corporativa.
De la automatización a la intervención humana
Hasta hoy, el sistema de OpenAI descansaba sobre una mezcla de filtros automáticos y revisión humana. La empresa afirma que su objetivo es procesar cada alerta de seguridad en menos de una hora. Sin embargo, la nueva funcionalidad busca reducir la fricción entre la detección y la ayuda real. Al permitir que un usuario designe un contacto de emergencia, la plataforma intenta externalizar el seguimiento de una crisis que, hasta ahora, se limitaba a un aviso genérico hacia recursos de salud profesional.
Esto no es menor. La lógica de OpenAI es clara: pasar de la recomendación pasiva —que un usuario lea un link a un centro de ayuda— a la activación de una red de apoyo real. La alerta al tercero será breve, enviada vía email o mensaje de texto, cuidando no revelar el historial completo del chat para proteger la privacidad del usuario. Aun así, la arquitectura del sistema plantea dilemas obvios. ¿Cómo evitar que un usuario manipule el sistema creando cuentas secundarias o simplemente ignorando la configuración? Es un riesgo real. La implementación actual sigue siendo opcional, lo que deja un boquete importante en la red de seguridad para los perfiles más vulnerables.
Lo interesante acá es que este movimiento espeja la estrategia de control parental lanzada en septiembre pasado. Ambos sistemas comparten el mismo ADN: la transferencia de responsabilidad hacia figuras externas cuando el algoritmo detecta un riesgo inminente. Es una forma elegante, pero corporativamente cautelosa, de decir que la IA no puede ni debe ser un terapeuta sustituto.
La responsabilidad ante la escala
La adopción de estas herramientas no es gratuita para el ecosistema de startups. Empresas de IA en América Latina, que enfrentan desafíos regulatorios crecientes, observan con atención este tipo de precedentes. No se trata solo de construir modelos más potentes; se trata de diseñar capas de seguridad que resistan el escrutinio de los reguladores y, sobre todo, el peso de la opinión pública cuando algo sale mal.
Mi lectura es distinta: el problema de fondo es la ilusión de omnipotencia que la tecnología genera en el usuario. Por muy sofisticados que sean los sistemas de alerta, ninguna herramienta de software puede suplir el juicio clínico o la presencia humana. OpenAI está intentando construir un salvavidas digital, pero el peligro de delegar la gestión del bienestar emocional a un LLM es, en sí mismo, un riesgo sistémico. La compañía promete seguir trabajando con clínicos y académicos, pero las promesas de futuro no borran los juicios del presente.
El detalle que importa es este: el desarrollo de estas funcionalidades marca el inicio de una era donde la seguridad del usuario ya no es un "feature" competitivo, sino una métrica de cumplimiento legal. Lo que deberíamos vigilar no es la efectividad técnica del nuevo "Contacto de Confianza", sino cuánta de esta responsabilidad terminará siendo exigida por la ley y cómo afectará esto a la libertad de desarrollo de los futuros modelos. La era de la IA sin supervisión terminó. Estamos entrando en la fase de las consecuencias.
