Informe PinkFairness

En esta sección se hace la descripción del caso de uso indicando el problema o tarea específica que se soluciona, proporcionando una visión general del mismo. Asimismo, se establece las necesidades y requisitos específicos del proyecto.

A continuación, se describe el análisis de los datos disponibles para la construcción del modelo

2.1 Recopilación de datos iniciales

Cual fue la manera en que se llevó a cabo el proceso de recopilación de los datos, indicando si los datos utilizados corresponden a toda una población o si son una muestra representativa de la misma, especificando el porcentaje que representan en relación a la población en cuestión. Además, identificar las razones por las cuales existen valores perdidos en los datos. Asimismo, indicar si los datos han sido sometidos a algún tipo de tratamiento o transformación, o si se encuentran en su formato original

2.2 Descripción de los datos

En esta sección se busca comprender la naturaleza y las características de cada atributo en el conjunto de datos. Esto implica examinar el tipo de dato, la escala de medición, el rango de valores posibles, la presencia de valores atípicos o perdidos, y cualquier otra información relevante relacionada con cada atributo

Estadística atributos ordinales y nominales

Estadística atributos continuos y discretos

2.3 Exploración de datos

Se realiza el análisis de las distribuciones de las variables de forma individual como relacionadas con la clase y los atributos sensibles

Relación entre atributos

Gráfico de Distribución de las Variables

2.4 Verificación de calidad de datos

En esta sección se determina que atributos deben ser intervenidos y como se debería realizar dicha intervención

La tabla muestra para cada variable de tu conjunto de datos, su nombre y tipo (numérico o categórico), el porcentaje de valores faltantes, el grado de diversidad de valores (porcentaje de valores únicos), y —cuando aplica— los valores mínimo y máximo observados; además incluye una columna de “DQ Issue” que señala incidencias de calidad (por ejemplo categorías con muy baja frecuencia o valores atípicos fuera de los límites del rango intercuartílico), para detectar dónde imputar, agrupar niveles infrecuentes, recortar outliers o retirar registros erróneos antes de entrenar los modelos.

En esta etapa los datos deben ser intervenidos con el fin de que tengan las representaciones adecuadas tanto del caso de uso que se está solucionando

Los métodos basados en filtros realizan pruebas estadísticas de clasificación univariada, que evalúan la relación entre características

Una dependencia elevada mediante estas métricas señala la necesidad de examinar si dichas variables actúan como indicadores indirectos de una relación y, en consecuencia, ajustar el proceso de preprocesamiento de los datos.

Prueba F de ANOVA

La prueba cuantifica si existe una dependencia lineal entre dos grupos de características y ayuda tanto a la selección de atributos como a la detección de posibles proxies.

Prueba de independencia chi-cuadrado (χ²)

Evalúa si existe una asociación estadísticamente significativa entre dos variables categóricas no negativas (por ejemplo, nivel educativo y grupo étnico).

Información mutua (IM)

Mide la cantidad de información compartida entre dos variables sean continuas o discretas capturando tanto dependencias lineales como no lineales.

Existen enfoques que permiten medir la diferencia que existe entre los grupos privilegiados y no privilegiados. El índice de Theil aplicado a la equidad en ML puede interpretarse como pruebas estadísticas de equidad evaluando si todos los individuos enfrentan "las mismas probabilidades" en términos de oportunidades. Valores altos sugieren que una parte significativa de los recursos está concentrada en pocas personas o grupos . Para determinar qué tan similares son dos distribuciones de probabilidad entre diferentes grupos sensibles se utilizó Jensen-Shannon Divergence. Para cuantificar cuánto se desvía una distribución de probabilidad de otra se aplicó se aplicó Kullback-Leibler Divergence con el fin de identificar si la transformación de los datos afecta de manera desigual a ciertos grupos sensibles. La paridad demográfica fue utilizada para evaluar si las etiquetas positivas son iguales entre los grupos sensibles.

Este informe presenta el análisis de equidad realizado sobre el dataset.

El mapa de calor visualiza la matriz de correlaciones φK entre todas las variables del conjunto de datos, filtrando únicamente los pares con un coeficiente superior a 0.6. Las relaciones más débiles (φK < 0.6) se omiten, representándose en blanco para simplificar la interpretación. Cada celda coloreada refleja el grado de asociación no lineal o mixta entre dos atributos, los tonos rojizos (correlaciones moderadas) y los tonos verdosos (correlaciones más intensas). Un φK cercano a 1 se muestra en verde intenso, indicando que el par de variables que comparten patrones de variación significativos.