FairFace: conjunto de datos de atributos faciales para un análisis equilibrado por origen, género y edad

Resumen

FairFace aborda uno de los desafíos más persistentes en visión por computadora: la falta de equilibrio demográfico en los conjuntos de datos de entrenamiento y evaluación. Creado por investigadores de UCLA, este conjunto de datos proporciona 108,501 imágenes faciales con representación equilibrada entre siete grupos raciales, dos géneros y nueve rangos de edad. A diferencia de los conjuntos de datos faciales tradicionales que se inclinan fuertemente hacia ciertos grupos demográficos, FairFace fue diseñado específicamente para permitir pruebas rigurosas de sesgo en sistemas de análisis facial. Se ha convertido en un recurso de referencia para investigadores y profesionales que necesitan validar que sus modelos de reconocimiento facial, estimación de edad o clasificación demográfica funcionan de manera equitativa entre diferentes grupos poblacionales.

Qué lo hace diferente

La mayoría de los conjuntos de datos faciales sufren de desequilibrios demográficos severos: frecuentemente 70-80% de rostros blancos, fuerte sesgo masculino y diversidad de edad limitada. FairFace invierte esta situación manteniendo representación aproximadamente igual entre categorías raciales (White, Black, East Asian, Southeast Asian, Indian, Middle Eastern, Latino_Hispanic) y género, con cobertura sistemática de rangos de edad desde 0-2 años hasta más de 70 años.

Las imágenes en sí son fotos frontales de alta calidad obtenidas del conjunto de datos YFCC-100M Flickr, luego cuidadosamente filtradas y anotadas. Cada imagen incluye etiquetas de verdad de referencia para raza, género y grupo de edad, verificadas a través de múltiples rondas de anotación. El conjunto de datos también proporciona divisiones tanto de entrenamiento como de validación, lo que lo hace inmediatamente utilizable para desarrollo y evaluación de modelos.

Capacidades principales de evaluación de sesgo

• Pruebas de paridad demográfica: Compare la precisión del modelo, las tasas de falsos positivos y las tasas de falsos negativos entre diferentes grupos demográficos para identificar disparidades de rendimiento.
• Análisis interseccional: Evalúe cómo los modelos se desempeñan en identidades interseccionales (por ejemplo, mujeres jóvenes negras vs. hombres blancos mayores) en lugar de solo categorías demográficas individuales.
• Evaluación de sesgo por edad: Pruebe si los modelos de estimación de edad muestran errores sistemáticos para ciertos grupos de edad o combinaciones demográficas.
• Aprendizaje de representaciones: Entrene modelos más equilibrados usando FairFace como datos de entrenamiento primarios o datos complementarios para equilibrar conjuntos de datos existentes.

Para quién es este recurso

• Investigadores en visión por computadora que desarrollan o evalúan algoritmos de análisis facial y necesitan demostrar equidad entre grupos demográficos. Esencial para publicar en foros que ahora requieren evaluación de sesgo.
• Equipos de ética en IA y auditores de sesgo que realizan evaluaciones de equidad de sistemas de reconocimiento facial o clasificación demográfica existentes en producción.
• Equipos de producto en empresas tecnológicas que construyen aplicaciones de consumo con funciones de análisis facial y necesitan asegurar un rendimiento equitativo en toda su base de usuarios.
• Equipos de cumplimiento regulatorio en organizaciones sujetas a regulaciones de equidad en IA que necesitan conjuntos de datos estandarizados para pruebas de sesgo y documentación.
• Instituciones académicas que enseñan ética en IA o cursos de visión por computadora y desean conjuntos de datos prácticos para demostrar el sesgo en sistemas de aprendizaje automático.

Cómo empezar con FairFace

Descargue el conjunto de datos desde el repositorio de GitHub, que incluye tanto los archivos de imagen como los archivos CSV de anotación. La descarga total es de aproximadamente 11GB. Encontrará carpetas separadas para los conjuntos de entrenamiento (86,744 imágenes) y validación (21,757 imágenes).

El formato de anotación es sencillo: cada fila contiene un nombre de archivo y tres etiquetas (raza, género, edad). Las categorías raciales usan etiquetas estandarizadas, el género es binario (Male/Female), y la edad está agrupada en rangos como "0-2", "3-9", "10-19", etc.

Para la evaluación de sesgo, establezca métricas de rendimiento base en el conjunto de datos completo, luego segmente los resultados por grupos demográficos para identificar disparidades. Muchos investigadores usan métricas como diferencia de paridad demográfica e igualdad de oportunidades para cuantificar las brechas de equidad.

Aspectos a considerar

La clasificación binaria de género refleja la fecha de creación del conjunto de datos en 2021 y puede no alinearse con la comprensión actual de la diversidad de género. Considere esta limitación al usar FairFace para aplicaciones que sirven a identidades de género diversas.

Las categorías raciales, aunque más completas que la mayoría de los conjuntos de datos, aún representan agrupaciones amplias que pueden no capturar el espectro completo de la diversidad humana. La categoría "Latino_Hispanic", por ejemplo, abarca muchas etnias distintas.

La calidad de imagen y la pose varían algo entre grupos demográficos debido a las características del conjunto de datos de origen, lo que podría introducir factores de confusión en la evaluación de sesgo. Siempre examine si las diferencias de rendimiento provienen del sesgo demográfico versus diferencias en la calidad de imagen.

Las agrupaciones de edad son rangos amplios en lugar de edades específicas, lo que limita su utilidad para la evaluación precisa de estimación de edad en comparación con etiquetas de edad continuas.