AI bias in healthcare

数か月前、バルセロナのある病院が、救急科での患者の優先順位付けを支援するために人工知能システムを導入した。

A few months ago, a Barcelona hospital introduced an artificial intelligence system to help prioritise patients in the emergency department.

このアルゴリズムは、症状、診療歴、推定される重症度を分析して優先度を割り当てる。理論上は、このシステムは人間よりも迅速かつ客観的である。

The algorithm analyses symptoms, clinical history and estimated severity in order to assign a priority level. In theory, the system is faster and more objective than a human being.

しかし実際には、その結果が激しい議論を巻き起こしている。

In practice, the results have sparked an intense debate.

問題が浮上したのは、複数の医師が、このシステムが若い女性の症状の重症度を過小評価する傾向があると気づいたときであった。

The problem arose when several doctors noticed that the system tended to underestimate the severity of symptoms in young women.

これは厳密な意味でのプログラミングのエラーではなかった。アルゴリズムは、過去のデータに存在する偏りを再現していたのである。そのデータでは、女性の胸痛の症例が、組織的に緊急性の低いものとして分類されてきたのだった。

It was not a programming error in the strict sense: the algorithm was reproducing a bias present in the historical data, where cases of chest pain in women had been systematically classified as less urgent.

このシステムの擁護者たちは、解決策は技術を放棄することではなく、データを是正することだと主張する。

The system's defenders argue that the solution is not to abandon the technology, but to correct the data.

彼らは、十分に訓練されたアルゴリズムは、長期的には、過重労働下でプレッシャーを受けながら判断を下す医師よりも公正でありうると説く。

They maintain that a well-trained algorithm can, in the long run, be more equitable than an overworked doctor making decisions under pressure.

これに対し批判者たちは、医療上の判断を機械に委ねることは、効率性を超えた倫理的問題を提起すると警告している。

Its detractors, by contrast, warn that delegating medical decisions to a machine raises ethical questions that go beyond efficiency.

この事例が明らかにしているのは、人工知能は中立ではないということである。

What this case makes clear is that artificial intelligence is not neutral.

どのデータを取り入れるか、どのように重み付けするか、何を許容可能な結果とみなすか——こうした設計上のあらゆる決定は、ひとつの世界観を反映している。

Every design decision —what data is included, how it is weighted, what counts as an acceptable outcome— reflects a worldview.

技術は数学的だから客観的だと主張することは、よく言って素朴であり、悪く言えば危険である。

Pretending that technology is objective because it is mathematical is, at best, naive and, at worst, dangerous.

真の課題は技術的なものではなく、政治的なものである。すなわち、これらのシステムの設計を誰が決定するのか、そして、それらが機能不全に陥ったとき、誰に対して責任を負うのか、ということである。

The real challenge is not technical, but political: who decides how these systems are designed, and to whom they are accountable when they fail.