Saturday, December 15, 2018

Big Data Congress 2018: Discrimination in Algorithmic Decission Making (by Krishna P. Gummadi)

La primera conferencia de la jornada del 25 de Octubre en Big Data Congress Barcelona 2018 corrió a cargo de Krishna P.Gummadi, Head of the Networked Systems research group and Professor del Max Planck Institute for Software Systems (MPI-SWS).


La conferencia se titulaba Foundations for Fair Algorithmic Decision Making con esta imagen que emula la pintura de Miguelangelo en la Capilla Sixtina pero con una mano de un supuesto robot...

Cuando pensamos en cómo realizar la toma de decisiones desde la programación de un algoritmo debemos tener en cuenta que las decisiones se toman en base a los datos, en aprender en decisiones pasadas y en la creciente influencia de todos los aspectos de nuestra vida:

Y surgen algunas preocupaciones para ser justos:

A nivel de discrimininación hay que tener en cuenta:

Al respecto surgen algunas preguntas:
What is a computational perspective? Why is it needed?

Uno de los casos de estudio es el de COMPAS que trata de predecir el riesgo de reincidencia:


El objetivo de COMPAS es reformar la justicia criminal:

Según los datos de COMPAS es o no es discriminatorio?

Análisis: Why does COMPAS classifier show high racial FPR & FNR disparity?

How COMPAS learns who recidivates?
Cómo aprende COMPAS quién va a reincidir?

Para ello hay que tratar de establecer una línea entre todas las muestras que separe aquellos con más posibilidades de reincidir, pero siempre existe un error tanto en falsos positivos como en falsos negativos:

Para que a nivel de computación se aprenda a definir la frontera óptima se utilizan las siguientes funciones:

Cómo traza COMPAS esa frontera lo más precisa posible?

La causa de la disparidad de ratio de error:


How to train non-discriminatory classifiers?
How to learn to avoid discrimination?

Se trata de un reto técnico:

Evaluación del funcionamiento de las restricciones:

Lessons from the COMPAS story
Take-aways for ethical machine learning

3 retos con aprendizaje ético:

2 Operationalizations of discrimination: disparate treatment & disparate mistreatment

La discriminación en diferentes escenarios:

Looking forward: From Non-Discrimination To Fair Algorithmic Decision Making

Learning Non-Discriminatory Classification:


Summary: Ethics & Algorithms
  • Social need
  • Scientific curiosity

















No comments: