Panorama de la Investigación en seguridad de la IA

Resumen

Esta publicación del Alignment Forum proporciona un mapeo estructurado del campo de investigación en seguridad de la IA, ayudando a investigadores, financiadores y profesionales de la gobernanza a comprender los diferentes enfoques, instituciones y preguntas de investigación abiertas en el espacio.

Por qué es valioso para la gobernanza

Aunque está enfocado en la seguridad técnica de la IA, este recurso de mapeo es esencial para cualquier persona que trabaje en gobernanza de la IA porque:

• Identifica las prioridades de investigación que se traducen directamente en necesidades regulatorias y de políticas
• Cartografía el ecosistema institucional de los principales grupos de investigación cuyo trabajo informa los enfoques de gobernanza
• Explica los desacuerdos de la comunidad sobre prioridades de investigación que moldean los debates de políticas
• Conecta las agendas técnicas con las implicaciones en términos de gobernanza

Cobertura del panorama

• Investigación sobre alineación: Trabajos orientados a asegurar que los sistemas de IA persigan los objetivos que los humanos realmente quieren que persigan.
• Robustez y seguridad: Investigación que asegura que los sistemas de IA funcionen de manera confiable en condiciones reales.
• Interpretabilidad: Esfuerzos para comprender cómo los sistemas de IA llegan a sus decisiones y predicciones.
• Aprendizaje automático seguro: Trabajos técnicos que hacen los sistemas de IA más seguros por diseño.

A quién está dirigido este recurso

• Asesores de políticas en IA que necesitan comprender las agendas de investigación técnica para informar las recomendaciones de gobernanza
• Estrategas filantrópicos que asignan financiamiento a la investigación sobre seguridad de la IA
• Investigadores académicos que identifican oportunidades de colaboración y vacíos de investigación