Sesgo de la IA en la sanidad
A few months ago, a Barcelona hospital introduced an artificial intelligence system to help prioritise patients in the emergency department.
Hace unos meses, un hospital de Barcelona incorporó un sistema de inteligencia artificial para ayudar a priorizar pacientes en urgencias.
The algorithm analyses symptoms, clinical history and estimated severity in order to assign a priority level. In theory, the system is faster and more objective than a human being.
El algoritmo analiza los síntomas, el historial clínico y la gravedad estimada para asignar un nivel de prioridad. En teoría, el sistema es más rápido y objetivo que un ser humano.
In practice, the results have sparked an intense debate.
En la práctica, los resultados han generado un intenso debate.
The problem arose when several doctors noticed that the system tended to underestimate the severity of symptoms in young women.
El problema surgió cuando varios médicos notaron que el sistema tendía a subestimar la gravedad de los síntomas en mujeres jóvenes.
It was not a programming error in the strict sense: the algorithm was reproducing a bias present in the historical data, where cases of chest pain in women had been systematically classified as less urgent.
No se trataba de un error de programación en sentido estricto: el algoritmo reproducía un sesgo presente en los datos históricos, donde los casos de dolor torácico en mujeres habían sido sistemáticamente clasificados como menos urgentes.
The system's defenders argue that the solution is not to abandon the technology, but to correct the data.
Los defensores del sistema argumentan que la solución no es abandonar la tecnología, sino corregir los datos.
They maintain that a well-trained algorithm can, in the long run, be more equitable than an overworked doctor making decisions under pressure.
Sostienen que un algoritmo bien entrenado puede, a largo plazo, ser más equitativo que un médico sobrecargado de trabajo que toma decisiones bajo presión.
Its detractors, by contrast, warn that delegating medical decisions to a machine raises ethical questions that go beyond efficiency.
Sus detractores, en cambio, advierten de que delegar decisiones médicas a una máquina plantea cuestiones éticas que van más allá de la eficiencia.
What this case makes clear is that artificial intelligence is not neutral.
Lo que este caso pone de manifiesto es que la inteligencia artificial no es neutral.
Every design decision —what data is included, how it is weighted, what counts as an acceptable outcome— reflects a worldview.
Cada decisión de diseño —qué datos se incluyen, cómo se ponderan, qué se considera un resultado aceptable— refleja una visión del mundo.
Pretending that technology is objective because it is mathematical is, at best, naive and, at worst, dangerous.
Pretender que la tecnología es objetiva porque es matemática es, en el mejor de los casos, ingenuo y, en el peor, peligroso.
The real challenge is not technical, but political: who decides how these systems are designed, and to whom they are accountable when they fail.
El verdadero desafío no es técnico, sino político: quién decide cómo se diseñan estos sistemas y ante quién rinden cuentas cuando fallan.