El humano en el circuito y la ilusión del control
Cuando hablamos de inteligencia artificial en salud, hay una afirmación que aparece una y otra vez: la decisión final debe estar en manos del médico. En las encuestas a profesionales y en el trabajo de consenso que venimos realizando con un grupo académico latinoamericano, esta idea ocupa un lugar central. La IA puede asistir, sugerir y aportar información, pero el profesional debe evaluar la respuesta y decidir qué hacer.
Esa participación humana suele expresarse con el concepto de human in the loop: el humano dentro del circuito. En teoría, su presencia permite revisar lo que propone un sistema y corregirlo antes de que se convierta en una acción. Pero ¿alcanza con que haya una persona en el circuito para asegurar que exista un control efectivo?
Un artículo publicado en Annals of Internal Medicine, titulado “The Illusion of Oversight in Clinical Artificial Intelligence: Human Out of the Loop?”, plantea una pregunta incómoda: ¿qué ocurre cuando la supervisión humana persiste en los procedimientos, pero se diluye en la práctica? En esas condiciones, advierten los autores, puede convertirse en un mecanismo para distribuir responsabilidades sin ofrecer la seguridad que promete.
La distinción importa. Ser responsable de una decisión y tener la capacidad real de supervisarla son cosas diferentes.
Quienes usamos modelos de lenguaje conocemos la advertencia: pueden cometer errores y debemos verificar la información importante. Quizás no me detenga demasiado a comprobar una respuesta si pregunto qué significa feijão en español. Una decisión sobre la salud de otra persona, en cambio, merece otro nivel de revisión.
El problema es que estos modelos conversan con fluidez y pueden ofrecer respuestas convincentes sobre temas muy diversos. Una respuesta equivocada puede tener la misma claridad y seguridad que una correcta. La forma en que está escrita no permite distinguirlas.
Ahí aparece el profesional: debe revisar la información, ejercer su juicio crítico y decidir. Pero ¿qué pasa cuando tampoco está seguro de la respuesta? ¿Cuando el volumen de información supera lo que puede procesar? ¿Cuando el tiempo disponible apenas alcanza para atender al paciente?
La experiencia con otras tecnologías ofrece algunas pistas. El artículo recupera el caso de la interpretación automatizada de electrocardiogramas, un estudio habitual que registra la actividad eléctrica del corazón. Según uno de los trabajos citados, los cardiólogos corrigieron solo el 72 % de las interpretaciones automatizadas erróneas de fibrilación auricular, frente a un 94 % de aciertos cuando interpretaban el estudio por sí mismos. La presencia de una lectura previa de la computadora podía influir en el juicio del profesional, incluso cuando esa lectura era incorrecta.
Los autores señalan tres diferencias que dificultan trasladar ese modelo de supervisión a la IA generativa. Primero, los algoritmos de interpretación de electrocardiogramas producen resultados estructurados y tienen errores relativamente bien caracterizados. Los modelos de lenguaje generan respuestas abiertas, con muchas más formas posibles de equivocarse. Segundo, estos modelos pueden ser manipulados mediante instrucciones o contenido incorporado en la información que reciben. Tercero, la revisión humana necesita una carga de trabajo compatible con el tiempo y la atención que exige cada caso.
Este último punto es especialmente importante. El artículo contrasta un servicio de referencia que interpreta más de 160.000 electrocardiogramas al año con el caso de un director médico de una aseguradora que habría firmado alrededor de 60.000 denegaciones de cobertura generadas por algoritmos en un solo mes. A esa escala, una firma difícilmente pueda tomarse como prueba de una evaluación individual y cuidadosa.
El problema también aparece en la producción científica. Las referencias bibliográficas inexistentes ilustran lo que sucede cuando un texto convincente circula sin una verificación suficiente. Una cita puede parecer legítima: tiene autores, un título, una revista y un año. Sin embargo, el trabajo al que supuestamente remite puede no existir.
Ante estos casos, es comprensible preguntar cómo pudieron pasarlos por alto los autores, los revisores y las revistas. Pero también hace falta preguntarse qué capacidad tienen los mecanismos de revisión para detectar esos errores a gran escala. Muchos revisores realizan esa tarea sin remuneración, además de sus actividades habituales. Si aumenta el volumen de manuscritos y cada uno exige más comprobaciones, pedirles que revisen mejor no resuelve por sí solo el problema.
Esto no elimina la responsabilidad de quienes presentan un trabajo. Obliga a pensar qué recursos y procedimientos hacen posible cumplirla. Además, si la información falsa llega a publicarse y luego se utiliza como fuente para otras respuestas o publicaciones, existe el riesgo de que el error se reproduzca y adquiera una apariencia de legitimidad.
En la práctica clínica, la tensión es similar. Pedimos al médico que sea el responsable final del uso de la IA, pero esa exigencia convive con una cantidad creciente de información y con tiempos de atención cada vez más ajustados. Si tengo quince minutos para escuchar a un paciente, comprender su problema, revisar sus estudios y proponer una conducta, ¿qué espacio queda para verificar cada afirmación de una respuesta generada por IA?
La supervisión consume tiempo y atención. Si esperamos que sea una barrera de seguridad, debemos incorporarlos al diseño del trabajo. En un sistema que prioriza la cantidad de consultas, agregar una nueva obligación de control puede ampliar la distancia entre lo que se exige y lo que realmente se puede hacer.
También pedimos regulación. Es necesario, pero plantea un desafío: ¿cómo evaluar herramientas que pueden cambiar rápidamente mediante procesos institucionales cuyos tiempos son mucho más largos? La dificultad exige desarrollar formas de evaluación y seguimiento que contemplen esas transformaciones.
El artículo propone tres condiciones para que la supervisión tenga sentido: respuestas acotadas, fallos que puedan reconstruirse y analizarse retrospectivamente, y volúmenes de revisión proporcionales a la capacidad clínica. Estas condiciones permiten pasar de una declaración general “hay un médico que supervisa” a preguntas concretas: ¿qué revisa?, ¿con qué información?, ¿en cuánto tiempo?, ¿con qué posibilidad de detectar un error e intervenir?
Creo que necesitamos hablar con la misma honestidad sobre las capacidades de la IA y sobre nuestras propias limitaciones. Exigir a una persona que garantice la corrección de todo lo que produce un sistema puede ser una obligación imposible de cumplir.
El humano en el circuito tiene que poder ejercer el papel que le asignamos. De lo contrario, corremos el riesgo de conservar su responsabilidad mientras perdemos su capacidad de control.
Christine Y. Zhou, Alexandra Willauer, Eric J. Topol, et al. The Illusion of Oversight in Clinical Artificial Intelligence: Human Out of the Loop?. Ann Intern Med.[Epub 27 October 2026].doi:10.7326/ANNALS-26-02753