AI bias in healthcare
Hace unos meses, un hospital de Barcelona incorporó un sistema de inteligencia artificial para ayudar a priorizar pacientes en urgencias.
A few months ago, a Barcelona hospital introduced an artificial intelligence system to help prioritise patients in the emergency department.
El algoritmo analiza los síntomas, el historial clínico y la gravedad estimada para asignar un nivel de prioridad. En teoría, el sistema es más rápido y objetivo que un ser humano.
The algorithm analyses symptoms, clinical history and estimated severity in order to assign a priority level. In theory, the system is faster and more objective than a human being.
En la práctica, los resultados han generado un intenso debate.
In practice, the results have sparked an intense debate.
El problema surgió cuando varios médicos notaron que el sistema tendía a subestimar la gravedad de los síntomas en mujeres jóvenes.
The problem arose when several doctors noticed that the system tended to underestimate the severity of symptoms in young women.
No se trataba de un error de programación en sentido estricto: el algoritmo reproducía un sesgo presente en los datos históricos, donde los casos de dolor torácico en mujeres habían sido sistemáticamente clasificados como menos urgentes.
It was not a programming error in the strict sense: the algorithm was reproducing a bias present in the historical data, where cases of chest pain in women had been systematically classified as less urgent.
Los defensores del sistema argumentan que la solución no es abandonar la tecnología, sino corregir los datos.
The system's defenders argue that the solution is not to abandon the technology, but to correct the data.
Sostienen que un algoritmo bien entrenado puede, a largo plazo, ser más equitativo que un médico sobrecargado de trabajo que toma decisiones bajo presión.
They maintain that a well-trained algorithm can, in the long run, be more equitable than an overworked doctor making decisions under pressure.
Sus detractores, en cambio, advierten de que delegar decisiones médicas a una máquina plantea cuestiones éticas que van más allá de la eficiencia.
Its detractors, by contrast, warn that delegating medical decisions to a machine raises ethical questions that go beyond efficiency.
Lo que este caso pone de manifiesto es que la inteligencia artificial no es neutral.
What this case makes clear is that artificial intelligence is not neutral.
Cada decisión de diseño —qué datos se incluyen, cómo se ponderan, qué se considera un resultado aceptable— refleja una visión del mundo.
Every design decision —what data is included, how it is weighted, what counts as an acceptable outcome— reflects a worldview.
Pretender que la tecnología es objetiva porque es matemática es, en el mejor de los casos, ingenuo y, en el peor, peligroso.
Pretending that technology is objective because it is mathematical is, at best, naive and, at worst, dangerous.
El verdadero desafío no es técnico, sino político: quién decide cómo se diseñan estos sistemas y ante quién rinden cuentas cuando fallan.
The real challenge is not technical, but political: who decides how these systems are designed, and to whom they are accountable when they fail.