O humano no circuito e a ilusão do controle
# O humano no circuito e a ilusão do controle Quando falamos de inteligência artificial na saúde, há uma afirmação que aparece repetidamente: a decisão final deve estar nas mãos do médico. Nas pesquisas com profissionais e no trabalho de consenso que estamos realizando com um grupo acadêmico latino-americano, essa ideia ocupa um lugar central. A IA pode auxiliar, sugerir e fornecer informações, mas o profissional deve avaliar a resposta e decidir o que fazer. Essa participação humana costuma ser expressa pelo conceito de *human in the loop*: o humano no circuito. Em teoria, sua presença permite revisar o que um sistema propõe e corrigir eventuais erros antes que a proposta se transforme em uma ação. Mas basta haver uma pessoa no circuito para garantir que exista um controle efetivo? Um artigo publicado no *Annals of Internal Medicine*, intitulado “The Illusion of Oversight in Clinical Artificial Intelligence: Human Out of the Loop?”, levanta uma pergunta incômoda: o que acontece quando a supervisão humana permanece nos procedimentos, mas se dilui na prática? Nessas condições, alertam os autores, ela pode se tornar um mecanismo de distribuição de responsabilidades sem oferecer a segurança que promete. A distinção importa. Ser responsável por uma decisão e ter a capacidade real de supervisioná-la são coisas diferentes. Quem usa modelos de linguagem conhece o aviso: eles podem cometer erros, e devemos verificar as informações importantes. Talvez eu não me detenha muito para conferir uma resposta se perguntar o que significa *feijão* em espanhol. Uma decisão sobre a saúde de outra pessoa, por outro lado, merece outro nível de revisão. O problema é que esses modelos conversam com fluência e podem oferecer respostas convincentes sobre temas muito diversos. Uma resposta errada pode apresentar a mesma clareza e segurança de uma correta. A forma como está escrita não permite distingui-las. É aí que entra o profissional: ele deve revisar as informações, exercer seu julgamento crítico e decidir. Mas o que acontece quando ele também não tem certeza da resposta? Quando o volume de informações supera o que consegue processar? Quando o tempo disponível mal é suficiente para atender o paciente? A experiência com outras tecnologias oferece algumas pistas. O artigo retoma o caso da interpretação automatizada de eletrocardiogramas, um exame comum que registra a atividade elétrica do coração. Segundo um dos estudos citados, os cardiologistas corrigiram apenas 72% das interpretações automatizadas incorretas de fibrilação atrial, em comparação com 94% de acerto quando interpretavam o exame por conta própria. A presença de uma interpretação prévia do computador podia influenciar o julgamento do profissional, mesmo quando essa interpretação estava incorreta. Os autores apontam três diferenças que dificultam a aplicação desse modelo de supervisão à IA generativa. Primeiro, os algoritmos de interpretação de eletrocardiogramas produzem resultados estruturados e apresentam erros relativamente bem caracterizados. Os modelos de linguagem geram respostas abertas, com muito mais possibilidades de erro. Segundo, esses modelos podem ser manipulados por meio de instruções ou conteúdos inseridos nas informações que recebem. Terceiro, a revisão humana exige uma carga de trabalho compatível com o tempo e a atenção que cada caso demanda. Esse último ponto é especialmente importante. O artigo contrasta um serviço de referência que interpreta mais de 160.000 eletrocardiogramas por ano com o caso de um diretor médico de uma seguradora que teria assinado cerca de 60.000 negativas de cobertura geradas por algoritmos em um único mês. Nessa escala, uma assinatura dificilmente pode ser considerada prova de uma avaliação individual e cuidadosa. O problema também aparece na produção científica. Referências bibliográficas inexistentes ilustram o que acontece quando um texto convincente circula sem verificação suficiente. Uma citação pode parecer legítima: tem autores, título, periódico e ano. No entanto, o trabalho ao qual supostamente se refere pode não existir. Diante desses casos, é compreensível perguntar como os autores, os revisores e os periódicos puderam deixar esses erros passar. Mas também é preciso perguntar qual é a capacidade dos mecanismos de revisão para detectar esses erros em grande escala. Muitos revisores realizam essa tarefa sem remuneração, além de suas atividades habituais. Se o volume de manuscritos aumenta e cada um exige mais verificações, pedir que revisem melhor não resolve, por si só, o problema. Isso não elimina a responsabilidade de quem submete um trabalho. Obriga a pensar quais recursos e procedimentos tornam possível cumpri-la. Além disso, se uma informação falsa é publicada e depois utilizada como fonte para outras respostas ou publicações, existe o risco de que o erro se reproduza e adquira uma aparência de legitimidade. Na prática clínica, a tensão é semelhante. Pedimos ao médico que seja o responsável final pelo uso da IA, mas essa exigência convive com uma quantidade crescente de informações e com tempos de atendimento cada vez mais curtos. Se tenho quinze minutos para ouvir um paciente, compreender seu problema, revisar seus exames e propor uma conduta, que espaço resta para verificar cada afirmação de uma resposta gerada por IA? A supervisão consome tempo e atenção. Se esperamos que funcione como uma barreira de segurança, precisamos incorporar esses recursos à organização do trabalho. Em um sistema que prioriza a quantidade de consultas, acrescentar uma nova obrigação de controle pode ampliar a distância entre o que se exige e o que realmente se consegue fazer. Também pedimos regulação. Ela é necessária, mas traz um desafio: como avaliar ferramentas que podem mudar rapidamente por meio de processos institucionais cujos prazos são muito mais longos? Essa dificuldade exige desenvolver formas de avaliação e acompanhamento que contemplem essas transformações. O artigo propõe três condições para que a supervisão faça sentido: respostas delimitadas, falhas que possam ser reconstruídas e analisadas retrospectivamente e volumes de revisão proporcionais à capacidade clínica. Essas condições permitem passar de uma declaração geral — “há um médico supervisionando” — para perguntas concretas: o que ele revisa? Com quais informações? Em quanto tempo? Com que possibilidade de detectar um erro e intervir? Acredito que precisamos falar com a mesma honestidade sobre as capacidades da IA e sobre nossas próprias limitações. Exigir que uma pessoa garanta a correção de tudo o que um sistema produz pode ser uma obrigação impossível de cumprir. O humano no circuito precisa ter condições de exercer o papel que lhe atribuímos. Caso contrário, corremos o risco de preservar sua responsabilidade enquanto perdemos sua capacidade de controle.
Esa participación humana suele expresarse con el concepto de human in the loop: el humano dentro del circuito. En teoría, su presencia permite revisar lo que propone un sistema y corregirlo antes de que se convierta en una acción. Pero ¿alcanza con que haya una persona en el circuito para asegurar que exista un control efectivo?
Un artículo publicado en Annals of Internal Medicine, titulado “The Illusion of Oversight in Clinical Artificial Intelligence: Human Out of the Loop?”, plantea una pregunta incómoda: ¿qué ocurre cuando la supervisión humana persiste en los procedimientos, pero se diluye en la práctica? En esas condiciones, advierten los autores, puede convertirse en un mecanismo para distribuir responsabilidades sin ofrecer la seguridad que promete.
La distinción importa. Ser responsable de una decisión y tener la capacidad real de supervisarla son cosas diferentes.
Quienes usamos modelos de lenguaje conocemos la advertencia: pueden cometer errores y debemos verificar la información importante. Quizás no me detenga demasiado a comprobar una respuesta si pregunto qué significa feijão en español. Una decisión sobre la salud de otra persona, en cambio, merece otro nivel de revisión.
El problema es que estos modelos conversan con fluidez y pueden ofrecer respuestas convincentes sobre temas muy diversos. Una respuesta equivocada puede tener la misma claridad y seguridad que una correcta. La forma en que está escrita no permite distinguirlas.
Ahí aparece el profesional: debe revisar la información, ejercer su juicio crítico y decidir. Pero ¿qué pasa cuando tampoco está seguro de la respuesta? ¿Cuando el volumen de información supera lo que puede procesar? ¿Cuando el tiempo disponible apenas alcanza para atender al paciente?
La experiencia con otras tecnologías ofrece algunas pistas. El artículo recupera el caso de la interpretación automatizada de electrocardiogramas, un estudio habitual que registra la actividad eléctrica del corazón. Según uno de los trabajos citados, los cardiólogos corrigieron solo el 72 % de las interpretaciones automatizadas erróneas de fibrilación auricular, frente a un 94 % de aciertos cuando interpretaban el estudio por sí mismos. La presencia de una lectura previa de la computadora podía influir en el juicio del profesional, incluso cuando esa lectura era incorrecta.
Los autores señalan tres diferencias que dificultan trasladar ese modelo de supervisión a la IA generativa. Primero, los algoritmos de interpretación de electrocardiogramas producen resultados estructurados y tienen errores relativamente bien caracterizados. Los modelos de lenguaje generan respuestas abiertas, con muchas más formas posibles de equivocarse. Segundo, estos modelos pueden ser manipulados mediante instrucciones o contenido incorporado en la información que reciben. Tercero, la revisión humana necesita una carga de trabajo compatible con el tiempo y la atención que exige cada caso.
Este último punto es especialmente importante. El artículo contrasta un servicio de referencia que interpreta más de 160.000 electrocardiogramas al año con el caso de un director médico de una aseguradora que habría firmado alrededor de 60.000 denegaciones de cobertura generadas por algoritmos en un solo mes. A esa escala, una firma difícilmente pueda tomarse como prueba de una evaluación individual y cuidadosa.
El problema también aparece en la producción científica. Las referencias bibliográficas inexistentes ilustran lo que sucede cuando un texto convincente circula sin una verificación suficiente. Una cita puede parecer legítima: tiene autores, un título, una revista y un año. Sin embargo, el trabajo al que supuestamente remite puede no existir.
Ante estos casos, es comprensible preguntar cómo pudieron pasarlos por alto los autores, los revisores y las revistas. Pero también hace falta preguntarse qué capacidad tienen los mecanismos de revisión para detectar esos errores a gran escala. Muchos revisores realizan esa tarea sin remuneración, además de sus actividades habituales. Si aumenta el volumen de manuscritos y cada uno exige más comprobaciones, pedirles que revisen mejor no resuelve por sí solo el problema.
Esto no elimina la responsabilidad de quienes presentan un trabajo. Obliga a pensar qué recursos y procedimientos hacen posible cumplirla. Además, si la información falsa llega a publicarse y luego se utiliza como fuente para otras respuestas o publicaciones, existe el riesgo de que el error se reproduzca y adquiera una apariencia de legitimidad.
En la práctica clínica, la tensión es similar. Pedimos al médico que sea el responsable final del uso de la IA, pero esa exigencia convive con una cantidad creciente de información y con tiempos de atención cada vez más ajustados. Si tengo quince minutos para escuchar a un paciente, comprender su problema, revisar sus estudios y proponer una conducta, ¿qué espacio queda para verificar cada afirmación de una respuesta generada por IA?
La supervisión consume tiempo y atención. Si esperamos que sea una barrera de seguridad, debemos incorporarlos al diseño del trabajo. En un sistema que prioriza la cantidad de consultas, agregar una nueva obligación de control puede ampliar la distancia entre lo que se exige y lo que realmente se puede hacer.
También pedimos regulación. Es necesario, pero plantea un desafío: ¿cómo evaluar herramientas que pueden cambiar rápidamente mediante procesos institucionales cuyos tiempos son mucho más largos? La dificultad exige desarrollar formas de evaluación y seguimiento que contemplen esas transformaciones.
El artículo propone tres condiciones para que la supervisión tenga sentido: respuestas acotadas, fallos que puedan reconstruirse y analizarse retrospectivamente, y volúmenes de revisión proporcionales a la capacidad clínica. Estas condiciones permiten pasar de una declaración general “hay un médico que supervisa” a preguntas concretas: ¿qué revisa?, ¿con qué información?, ¿en cuánto tiempo?, ¿con qué posibilidad de detectar un error e intervenir?
Creo que necesitamos hablar con la misma honestidad sobre las capacidades de la IA y sobre nuestras propias limitaciones. Exigir a una persona que garantice la corrección de todo lo que produce un sistema puede ser una obligación imposible de cumplir.
El humano en el circuito tiene que poder ejercer el papel que le asignamos. De lo contrario, corremos el riesgo de conservar su responsabilidad mientras perdemos su capacidad de control.
Christine Y. Zhou, Alexandra Willauer, Eric J. Topol, et al. The Illusion of Oversight in Clinical Artificial Intelligence: Human Out of the Loop?. Ann Intern Med.[Epub 27 October 2026].doi:10.7326/ANNALS-26-02753