Sesgo de la IA en los seguros
Last year a major Dutch insurer decided to deploy artificial intelligence to assess damage claims.
El año pasado, una importante aseguradora neerlandesa decidió emplear la inteligencia artificial en la evaluación de reclamaciones de siniestros.
The system analyses photographs of damage, compares them with thousands of earlier cases and calculates within seconds whether a claim is likely to be legitimate.
El sistema analiza fotografías de los daños, las compara con miles de casos anteriores y calcula en cuestión de segundos si una reclamación es probablemente legítima.
The insurer presented it as a breakthrough in efficiency and objectivity.
La aseguradora lo presentó como un avance decisivo en eficiencia y objetividad.
Within a few months, however, troubling patterns came to light.
Sin embargo, en cuestión de meses salieron a la luz patrones inquietantes.
The system turned out to flag claims from certain neighbourhoods — predominantly disadvantaged districts with a high proportion of residents of immigrant background — considerably more often as suspect.
Resultó que el sistema señalaba como sospechosas, con una frecuencia considerablemente mayor, las reclamaciones procedentes de determinados barrios, sobre todo zonas desfavorecidas con un alto porcentaje de residentes de origen inmigrante.
The algorithm was not consciously discriminating, but it had learned from historical data in which human assessors had applied the very same prejudices.
El algoritmo no discriminaba de forma consciente, pero había aprendido de datos históricos en los que los evaluadores humanos habían aplicado exactamente los mismos prejuicios.
Advocates of AI regulation point to such cases as evidence that technology is not neutral.
Los partidarios de regular la IA señalan casos como este como prueba de que la tecnología no es neutral.
Every algorithm reflects the values and biases of those who designed it and of the data on which it was trained.
Todo algoritmo refleja los valores y los sesgos de quienes lo han diseñado y de los datos con los que ha sido entrenado.
The claim that a machine is more objective than a human being is at best naive and at worst misleading.
La afirmación de que una máquina es más objetiva que un ser humano resulta, en el mejor de los casos, ingenua y, en el peor, engañosa.
Opponents of strict regulation warn that excessive rules may stifle innovation.
Los detractores de una regulación estricta advierten de que un exceso de normas puede frenar la innovación.
They argue that the industry itself is best placed to draw up guidelines, since legislators often lack the technical knowledge required to formulate meaningful rules.
Sostienen que el propio sector es quien mejor puede elaborar las directrices, ya que los legisladores a menudo carecen de los conocimientos técnicos necesarios para formular reglas que tengan sentido.
What tends to remain underexposed in this debate is the question of power.
Lo que en este debate suele quedar relegado a un segundo plano es la cuestión del poder.
The issue is not merely whether AI should be regulated, but who sets the rules and whose interests are served in the process.
No se trata únicamente de si la IA debe regularse, sino de quién fija las reglas y a qué intereses se sirve con ello.
As long as we fail to address that fundamental question, the debate on AI ethics will remain stuck at the surface.
Mientras no abordemos esa cuestión fundamental, el debate sobre la ética de la IA seguirá quedándose en la superficie.