Assessment and evaluation
How AI systems are assessed or tested.
21 recursos
Modelo de evaluación de impacto sobre los derechos fundamentales del Reglamento Europeo de IA
Plantilla y guía FRIA para la Evaluación de Impacto en Derechos Fundamentales del EU AI Act. Funciona también como plantilla general de evaluación de impacto de IA para sistemas de IA de alto riesgo, con categorías de derechos, matrices de riesgo, hojas de trabajo para consulta con partes interesadas y mitigación.
Herramienta de evaluación de impacto algorítmico de Canadá
La herramienta de Evaluación de Impacto Algorítmico de Canadá ayuda a los departamentos federales a evaluar y mitigar los riesgos asociados con los sistemas de decisión automatizados. Asigna un nivel de impacto (I-IV) basado en los efectos potenciales del sistema sobre los individuos y la sociedad.
LM Evaluation Harness de EleutherAI
Un marco unificado para evaluar modelos de lenguaje en cientos de tareas. El LM Evaluation Harness proporciona capacidades de evaluación comparativa estandarizadas para evaluar las capacidades del modelo, la seguridad y las propiedades de alineación.
ISO/IEC 25000 - Requisitos y evaluación de la calidad del software
La serie ISO/IEC 25000 (SQuaRE) proporciona un marco para los requisitos de calidad y la evaluación de productos de software. Establece modelos de calidad, métricas y procesos de evaluación aplicables a los sistemas de IA como productos de software.
Guía de evaluación de impacto de la inteligencia artificial
Una plantilla práctica para evaluar sistemáticamente los sistemas de IA desde el concepto inicial hasta su implementación en el mundo real. La guía abarca la evaluación de riesgos, beneficios e impactos, y sirve como un manual operativo para las organizaciones que implementan sistemas de IA.
Modelo de análisis de impacto relativo a la protección de datos (AIPD)
Esta plantilla proporciona una lista estructurada de preguntas relacionadas con problemas de protección de datos que las organizaciones deben considerar antes de realizar una Evaluación de Impacto en la Protección de Datos. Sirve como guía práctica para identificar y evaluar los riesgos de privacidad en las actividades de procesamiento de datos.
Modelo de evaluación de impacto de la IA responsable
Plantilla de Microsoft para realizar evaluaciones de impacto de IA responsable con el fin de evaluar sistemas de IA en función de los objetivos y principios de IA responsable. La plantilla proporciona orientación estructurada para determinar qué objetivos de IA responsable aplican a sistemas de IA específicos y evaluar sus impactos potenciales.
Evaluación de impacto algorítmico
Una herramienta de cuestionario obligatorio de evaluación de riesgos que respalda la Directiva sobre Toma de Decisiones Automatizada de la Junta del Tesoro de Canadá. La herramienta determina el nivel de impacto de los sistemas de decisiones automatizadas mediante la evaluación de riesgos y medidas de mitigación.
La gobernanza de la IA sobre el terreno: El proceso y el algoritmo de evaluación de impacto algorítmico de Canadá han evolucionado
Este informe examina el proceso de Evaluación de Impacto Algorítmico (AIA) de Canadá a través de entrevistas con miembros del equipo de supervisión del Treasury Board y un abogado de inmigración canadiense. Proporciona información sobre cómo opera el marco del AIA en la práctica y sus impactos reales en la toma de decisiones algorítmicas del gobierno, particularmente en casos de inmigración.
Marco de gestión de riesgos de la IA
El Marco de Gestión de Riesgos de IA de NIST es un marco voluntario diseñado para ayudar a las organizaciones a incorporar consideraciones de confiabilidad en productos, servicios y sistemas de IA. Proporciona orientación para el diseño, desarrollo, uso y evaluación de tecnologías de IA con un enfoque en la gestión de riesgos y prácticas de IA responsable.
Guía del proceso de evaluación de riesgos de la IA
Una guía integral de evaluación de riesgos desarrollada por el UC AI Council para ayudar a evaluar los sistemas de IA y sus riesgos potenciales dentro de entornos universitarios. La guía proporciona metodologías estructuradas para evaluar el entrenamiento de modelos de IA, los riesgos de sesgo, los procesos de desarrollo y los procedimientos de validación para implementaciones institucionales de IA.
Realizar una evaluación de riesgos de la IA
Una guía práctica para realizar evaluaciones de riesgos de IA que cubre la identificación y evaluación de la probabilidad de daño de los sistemas de IA. El recurso proporciona metodologías para implementar medidas de mitigación y documentar procesos de evaluación de riesgos para el cumplimiento de gobernanza.
Marco de auditoría de la inteligencia artificial
Un marco integral desarrollado por The Institute of Internal Auditors para auditar sistemas e implementaciones de inteligencia artificial. El marco proporciona orientación y metodologías para que los auditores internos evalúen los riesgos, controles y estructuras de gobernanza relacionados con la IA dentro de las organizaciones.
Lista de verificación de auditoría de IA para la auditoría de la IA
Una lista de verificación de auditoría integral desarrollada por el European Data Protection Board para evaluar algoritmos de IA basados en aprendizaje automático. El documento cubre el ciclo de vida completo de la IA, incluyendo el entrenamiento de algoritmos, el preprocesamiento y las etapas de implementación operativa desde una perspectiva de procesamiento de datos.
Lista de verificación de auditoría de IA (Actualización 2025)
Una lista de verificación y marco integral para auditar sistemas de IA, con enfoque en procedimientos de evaluación técnica y requisitos de cumplimiento. El recurso enfatiza la construcción de pipelines de pruebas automatizadas para el monitoreo continuo del rendimiento de sistemas de IA y la calidad de datos dentro de entornos CI/CD.
Métricas de equidad en la IA: Tu guía paso a paso hacia sistemas equitativos
Una guía paso a paso que explica cómo utilizar métricas de equidad para detectar y cuantificar sesgos en modelos de IA. El recurso ayuda a los profesionales a identificar dónde los sistemas de IA pueden causar tratamiento desigual contra ciertos grupos y proporciona métodos para construir sistemas de IA más equitativos.
Introducción a la evaluación de modelos para la equidad
Este recurso proporciona orientación sobre la evaluación de modelos de aprendizaje automático en términos de equidad y sesgo utilizando la plataforma Vertex AI de Google Cloud. Explica cómo los modelos injustos pueden causar daño sistémico a grupos subrepresentados y ofrece métricas de evaluación específicas para detectar sesgos durante los procesos de recopilación de datos y evaluación posterior al entrenamiento.
Una revisión de alcance y análisis de lagunas de evidencia de la equidad de la IA clínica
Este artículo de investigación presenta una revisión de alcance que analiza las técnicas de equidad en aplicaciones de IA clínica e identifica brechas de evidencia en las metodologías actuales. El estudio examina los enfoques de equidad grupal, las métricas de equidad en resultados y diversos métodos de mitigación de sesgos utilizados en sistemas de IA para el sector salud.
Evaluación de modelos en Vertex AI
Documentación técnica para evaluar modelos de IA utilizando la plataforma Vertex AI de Google Cloud. Cubre métodos para ejecutar trabajos de inferencia por lotes y preparar datos de verdad fundamental para la evaluación de modelos utilizando enfoques tanto de AutoML como de entrenamiento personalizado.
Marcos de evaluación OLMES
OLMES es un marco estandarizado para evaluaciones reproducibles de modelos de lenguaje que es abierto, práctico y completamente documentado. Puede aplicarse a tablas de clasificación existentes y bases de código de evaluación para garantizar una evaluación de modelos de IA consistente y confiable.
DeepEval: El marco de evaluación de LLM
DeepEval es un framework de código abierto diseñado para evaluar y probar sistemas de modelos de lenguaje de gran escala. Proporciona una interfaz fácil de usar similar a Pytest pero especializada para pruebas unitarias de salidas y rendimiento de LLM.