Datasets and benchmarks
Governance focused datasets, not model training datasets.
16 recursos
FairFace: conjunto de datos de atributos faciales para un análisis equilibrado por origen, género y edad
Un conjunto de datos de imágenes faciales equilibrado diseñado para evaluar la equidad en sistemas de análisis facial. Contiene representación equilibrada entre grupos de raza, género y edad para permitir la evaluación de sesgos.
BIG-bench: benchmark más allá del juego de la imitación
Un benchmark colaborativo para evaluar modelos de lenguaje grandes en tareas diversas. Incluye tareas diseñadas para evaluar propiedades de razonamiento, conocimiento, seguridad y alineación.
HELM: evaluación holística de los modelos de lenguaje
El marco integral de Stanford para evaluar modelos de lenguaje en múltiples dimensiones, incluyendo precisión, calibración, robustez, equidad, sesgo, toxicidad y eficiencia.
Base de datos de incidentes de IA
Conjunto de datos estructurado de incidentes y daños de IA para investigación y análisis. Permite el estudio sistemático de fallas de IA, patrones de daño y factores de riesgo en diferentes aplicaciones de IA.
Conjunto de datos revolucionario de evaluación de la equidad de Sony AI
Un conjunto de datos integral para evaluación de equidad que contiene 10,318 imágenes obtenidas con consentimiento de 1,981 sujetos únicos con anotaciones extensas. Este conjunto de datos sirve como referencia global para la recolección ética de datos y el desarrollo responsable de IA, diseñado específicamente para evaluar sesgos y equidad en sistemas de IA.
FHIBE: conjunto de datos de evaluación de la equidad para la visión por computadora centrada en el humano
FHIBE es el primer conjunto de datos de evaluación de equidad disponible públicamente, recopilado con consentimiento y globalmente diverso, diseñado para tareas de visión por computadora centradas en el ser humano. El conjunto de datos sirve como un referente global para la recopilación ética de datos y el desarrollo responsable de IA, permitiendo a investigadores y desarrolladores evaluar la equidad en poblaciones diversas.
Conjunto de datos de imágenes centradas en el humano para el benchmarking ético de la IA
El Fair Human-Centric Image Benchmark (FHIBE) es un conjunto de datos de imágenes diseñado para evaluar sistemas de IA en términos de equidad y sesgo en aplicaciones de visión por computadora. Implementa las mejores prácticas para la curación responsable de datos y proporciona puntos de referencia estandarizados para probar la equidad algorítmica en poblaciones humanas diversas.
Detección de sesgos en visión por computadora: asegurar la equidad con los modelos de IA
Este recurso explora métodos para detectar sesgos en sistemas de visión por computadora, incluyendo descriptores de características CNN y clasificadores SVM para identificar sesgos en conjuntos de datos visuales. Examina cómo las técnicas de IA explicable pueden mejorar la transparencia y confiabilidad de los modelos de aprendizaje profundo utilizados en aplicaciones de visión por computadora.
Modelo de detección de sesgos
Un modelo de clasificación de secuencias en inglés entrenado específicamente con el MBAD Dataset para detectar automáticamente sesgos y evaluar la equidad en contenido textual, particularmente artículos de noticias. Esta herramienta permite el análisis automatizado de posibles sesgos en contenido escrito mediante clasificación basada en aprendizaje automático.
Herramienta de detection de sesgo non supervise
Una implementación técnica del algoritmo HBAC que detecta sesgos en sistemas de toma de decisiones algorítmicas sin requerir datos etiquetados. La herramienta maximiza las diferencias en variables de sesgo entre clústeres e incluye pruebas estadísticas para prevenir conclusiones falsas sobre patrones discriminatorios.
Índice de seguridad IA 2025
Un índice de seguridad de IA que evalúa el rendimiento de modelos utilizando AIR-Bench 2024 de Stanford (AI Risk Benchmark). El benchmark está diseñado para alinearse con las regulaciones gubernamentales emergentes y las políticas empresariales para la evaluación de seguridad de IA.
Presentación de la versión 0.5 del benchmark de seguridad IA de MLCommons
Este documento presenta la versión 0.5 del AI Safety Benchmark desarrollado por el MLCommons AI Safety Working Group. El benchmark está diseñado para evaluar los riesgos de seguridad de los sistemas de IA que utilizan modelos de lenguaje ajustados para chat, proporcionando un marco de evaluación estandarizado para la seguridad de la IA.
Riesgo y fiabilidad de la IA
El grupo de trabajo de Riesgo y Confiabilidad de IA de MLCommons desarrolla pruebas y benchmarks para evaluar la seguridad de la IA en casos de uso específicos. El marco tiene como objetivo resumir los resultados de las evaluaciones de seguridad de manera que permitan la toma de decisiones por parte de no expertos a través de enfoques de benchmarking estandarizados.
Conjunto de datos de métricas de IA responsable para la evaluación ética de los sistemas de IA
Un conjunto de datos integral que consolida 12,067 puntos de datos en 791 medidas de evaluación que abarcan 11 principios éticos para sistemas de IA. El conjunto de datos se extrae de 257 fuentes de literatura informática y proporciona métricas estandarizadas para evaluar las dimensiones éticas de los sistemas de IA.
Sesgo algorithmique
Artículo de Wikipedia que cubre el sesgo algorítmico, incluyendo ejemplos bien documentados como el software de evaluación de riesgo criminal COMPAS, que ha sido criticado por exhibir sesgo racial. El artículo discute cómo los conjuntos de datos sesgados pueden perpetuar y amplificar la discriminación en los sistemas de toma de decisiones algorítmicas.
Sesgo algorítmico: ejemplos y Herramientas para abordar la equidad de los modelos en producción
Un recurso de Arize AI que proporciona ejemplos de sesgo algorítmico y herramientas prácticas para abordar problemas de equidad en modelos en entornos de producción. El recurso destaca diversas herramientas de mitigación de sesgos, incluyendo las herramientas PAIR AI de Google para abordar la equidad y el sesgo en conjuntos de datos de imágenes utilizando TensorFlow.