AI bias in insurance

El año pasado, una importante aseguradora neerlandesa decidió emplear la inteligencia artificial en la evaluación de reclamaciones de siniestros.

Last year a major Dutch insurer decided to deploy artificial intelligence to assess damage claims.

El sistema analiza fotografías de los daños, las compara con miles de casos anteriores y calcula en cuestión de segundos si una reclamación es probablemente legítima.

The system analyses photographs of damage, compares them with thousands of earlier cases and calculates within seconds whether a claim is likely to be legitimate.

La aseguradora lo presentó como un avance decisivo en eficiencia y objetividad.

The insurer presented it as a breakthrough in efficiency and objectivity.

Sin embargo, en cuestión de meses salieron a la luz patrones inquietantes.

Within a few months, however, troubling patterns came to light.

Resultó que el sistema señalaba como sospechosas, con una frecuencia considerablemente mayor, las reclamaciones procedentes de determinados barrios, sobre todo zonas desfavorecidas con un alto porcentaje de residentes de origen inmigrante.

The system turned out to flag claims from certain neighbourhoods — predominantly disadvantaged districts with a high proportion of residents of immigrant background — considerably more often as suspect.

El algoritmo no discriminaba de forma consciente, pero había aprendido de datos históricos en los que los evaluadores humanos habían aplicado exactamente los mismos prejuicios.

The algorithm was not consciously discriminating, but it had learned from historical data in which human assessors had applied the very same prejudices.

Los partidarios de regular la IA señalan casos como este como prueba de que la tecnología no es neutral.

Advocates of AI regulation point to such cases as evidence that technology is not neutral.

Todo algoritmo refleja los valores y los sesgos de quienes lo han diseñado y de los datos con los que ha sido entrenado.

Every algorithm reflects the values and biases of those who designed it and of the data on which it was trained.

La afirmación de que una máquina es más objetiva que un ser humano resulta, en el mejor de los casos, ingenua y, en el peor, engañosa.

The claim that a machine is more objective than a human being is at best naive and at worst misleading.

Los detractores de una regulación estricta advierten de que un exceso de normas puede frenar la innovación.

Opponents of strict regulation warn that excessive rules may stifle innovation.

Sostienen que el propio sector es quien mejor puede elaborar las directrices, ya que los legisladores a menudo carecen de los conocimientos técnicos necesarios para formular reglas que tengan sentido.

They argue that the industry itself is best placed to draw up guidelines, since legislators often lack the technical knowledge required to formulate meaningful rules.

Lo que en este debate suele quedar relegado a un segundo plano es la cuestión del poder.

What tends to remain underexposed in this debate is the question of power.

No se trata únicamente de si la IA debe regularse, sino de quién fija las reglas y a qué intereses se sirve con ello.

The issue is not merely whether AI should be regulated, but who sets the rules and whose interests are served in the process.

Mientras no abordemos esa cuestión fundamental, el debate sobre la ética de la IA seguirá quedándose en la superficie.

As long as we fail to address that fundamental question, the debate on AI ethics will remain stuck at the surface.