Viés de IA na saúde
A few months ago, a Barcelona hospital introduced an artificial intelligence system to help prioritise patients in the emergency department.
Há alguns meses, um hospital em Barcelona introduziu um sistema de inteligência artificial para ajudar a priorizar pacientes no departamento de emergência.
The algorithm analyses symptoms, clinical history and estimated severity in order to assign a priority level. In theory, the system is faster and more objective than a human being.
O algoritmo analisa sintomas, histórico clínico e gravidade estimada para atribuir um nível de prioridade. Em teoria, o sistema é mais rápido e objetivo do que um ser humano.
In practice, the results have sparked an intense debate.
Na prática, os resultados geraram um debate intenso.
The problem arose when several doctors noticed that the system tended to underestimate the severity of symptoms in young women.
O problema surgiu quando vários médicos perceberam que o sistema tendia a subestimar a gravidade dos sintomas em mulheres jovens.
It was not a programming error in the strict sense: the algorithm was reproducing a bias present in the historical data, where cases of chest pain in women had been systematically classified as less urgent.
Não se tratava de um erro de programação no sentido estrito: o algoritmo reproduzia um viés presente nos dados históricos, onde os casos de dor no peito em mulheres tinham sido sistematicamente classificados como menos urgentes.
The system's defenders argue that the solution is not to abandon the technology, but to correct the data.
Os defensores do sistema argumentam que a solução não é abandonar a tecnologia, mas corrigir os dados.
They maintain that a well-trained algorithm can, in the long run, be more equitable than an overworked doctor making decisions under pressure.
Afirmam que um algoritmo bem treinado pode, a longo prazo, ser mais equitativo do que um médico sobrecarregado tomando decisões sob pressão.
Its detractors, by contrast, warn that delegating medical decisions to a machine raises ethical questions that go beyond efficiency.
Seus detratores, por outro lado, alertam que delegar decisões médicas a uma máquina levanta questões éticas que vão além da eficiência.
What this case makes clear is that artificial intelligence is not neutral.
O que este caso torna claro é que a inteligência artificial não é neutra.
Every design decision —what data is included, how it is weighted, what counts as an acceptable outcome— reflects a worldview.
Cada decisão de design — quais dados são incluídos, como são ponderados, o que conta como resultado aceitável — reflete uma visão de mundo.
Pretending that technology is objective because it is mathematical is, at best, naive and, at worst, dangerous.
Fingir que a tecnologia é objetiva porque é matemática é, na melhor das hipóteses, ingênuo e, na pior, perigoso.
The real challenge is not technical, but political: who decides how these systems are designed, and to whom they are accountable when they fail.
O verdadeiro desafio não é técnico, mas político: quem decide como esses sistemas são projetados e a quem prestam contas quando falham.