Resistencia y rechazo frente a los perjuicios algorítmicos

Resumen

Esta investigación de SAGE Publications profundiza en cómo comunidades, investigadores y activistas están luchando contra los daños algorítmicos a través de diferentes tipos de "proyectos de conocimiento": esfuerzos sistemáticos para documentar, exponer y cuestionar sistemas de IA sesgados. Basándose en investigaciones emblemáticas como la serie Machine Bias de ProPublica, que reveló sesgos raciales en herramientas de evaluación de riesgo del sistema de justicia penal, este trabajo mapea las diversas formas en que las personas están creando contranarrativas frente a las afirmaciones de neutralidad algorítmica de la industria tecnológica. Más que simplemente documentar problemas, examina cómo las comunidades afectadas están generando sus propias formas de evidencia y experiencia para desafiar implementaciones perjudiciales de IA.

El contexto: De Machine Bias al movimiento

La investigación se sitúa dentro de la ola de trabajo sobre responsabilidad algorítmica que surgió tras la investigación Machine Bias de ProPublica en 2016, que expuso cómo las herramientas de evaluación de riesgo COMPAS tenían el doble de probabilidad de señalar falsamente a acusados negros como futuros delincuentes. Pero en lugar de tratar tales revelaciones como victorias periodísticas aisladas, este trabajo examina cómo han generado ecosistemas completos de resistencia, desde proyectos de auditoría liderados por comunidades hasta programas de investigación académica que centran las experiencias de las comunidades afectadas.

Tipos principales de proyectos de conocimiento identificados

• Esfuerzos de documentación centrados en la comunidad: Iniciativas de base donde personas directamente perjudicadas por sistemas algorítmicos crean sus propias bases de evidencia, a menudo cuestionando las métricas y definiciones utilizadas por los desarrolladores de sistemas.
• Investigaciones técnicas críticas: Investigación que combina auditoría técnica con análisis social, yendo más allá de identificar sesgos para examinar cómo estos se conectan con sistemas más amplios de opresión.
• Proyectos de intervención en políticas: Esfuerzos que traducen experiencias comunitarias y hallazgos técnicos en propuestas concretas de política, a menudo tendiendo puentes entre las comunidades afectadas y los organismos reguladores.
• Desarrollo de contraexperiencia: Iniciativas que construyen formas alternativas de conocimiento técnico, cuestionando quién puede ser considerado "experto" en sistemas algorítmicos y sus impactos.

A quién está dirigido este recurso

• Organizadores comunitarios que trabajan en temas de justicia tecnológica y desean entender cómo la documentación y la investigación pueden apoyar los esfuerzos de incidencia
• Periodistas e investigadores que buscan fundamentar su trabajo de responsabilidad algorítmica en las necesidades comunitarias, no solo en métricas técnicas
• Defensores de políticas que buscan marcos para traducir las experiencias comunitarias de daño algorítmico en propuestas de gobernanza accionables
• Investigadores académicos interesados en enfoques participativos de auditoría de IA que centren a las comunidades afectadas
• Abogados defensores que construyen casos sobre discriminación algorítmica y necesitan entender cómo el conocimiento comunitario puede complementar la evidencia técnica

Qué hace diferente a esta investigación

A diferencia de la investigación típica sobre sesgos algorítmicos que se enfoca en métodos de detección técnica, este trabajo examina la resistencia como producción de conocimiento. Toma en serio la experiencia de las personas que sufren daños algorítmicos, en lugar de tratarlas simplemente como sujetos de estudio. La investigación también va más allá de incidentes de sesgo individuales para examinar cómo las comunidades están construyendo capacidad sostenida para desafiar los sistemas algorítmicos, creando lo que los autores llaman "infraestructuras de rechazo".

Implicaciones clave para la práctica

• Para defensores: El conocimiento generado por la comunidad puede ser tan poderoso como las auditorías técnicas para desafiar sistemas perjudiciales, pero requiere diferentes formas de apoyo y validación.
• Para investigadores: El trabajo efectivo de responsabilidad algorítmica requiere relaciones continuas con las comunidades afectadas, no solo estudios puntuales.
• Para responsables de políticas: Los marcos de gobernanza necesitan crear espacio para la experiencia comunitaria, no solo perspectivas técnicas y legales.
• Para tecnólogos: Entender la resistencia ayuda a identificar dónde los sistemas algorítmicos están causando daño en el mundo real, más allá de lo que capturan las métricas tradicionales de equidad.