El establecimiento de marcos de gobernanza previos al despliegue de sistemas de inteligencia artificial constituye actualmente uno de los ejes centrales de la regulación tecnológica a nivel global. La premisa que guía esta respuesta —evitar que un algoritmo tome decisiones violatorias de derechos humanos fundamentales antes de su entrada en operación— implica un cambio paradigmático: pasar de una gobernanza reactiva (corrección de daños ex post) a una preventiva basada en evaluación de riesgos, auditoría algorítmica y supervisión humana significativa. A continuación, se analizan los componentes esenciales de dichos marcos, sustentados en la literatura académica indexada y en los desarrollos regulatorios más avanzados.

1. Fundamentos normativos y conceptuales

La necesidad de una gobernanza pre-despliegue descansa en el reconocimiento de que los sistemas de IA, especialmente aquellos clasificados como de “alto riesgo” (UNESCO, 2021; European Commission, 2024), pueden afectar derechos como la no discriminación, la privacidad, la libertad de expresión, el debido proceso y la igualdad de oportunidades. La literatura en fairness, accountability and transparency (FAT) ha documentado sistemáticamente que los sesgos algorítmicos, la opacidad de modelos y la falta de trazabilidad pueden producir daños estructurales antes de que exista mecanismo de reparación efectivo (Barocas et al., 2019; Selbst et al., 2019).

Un marco de gobernanza preventivo debe operar en tres niveles: normativo (principios y estándares vinculantes), técnico (herramientas de verificación y pruebas) y organizacional (responsabilidades claras y cultura de cumplimiento).

2. Arquitectura regulatoria existente: el caso de la UE AI Act

El Reglamento de Inteligencia Artificial de la Unión Europea (2024) constituye el referente más completo de gobernanza pre-despliegue. Su enfoque basado en riesgos establece:

• Sistemas de alto riesgo (Anexo III): incluyen infraestructuras críticas, educación, empleo, servicios esenciales privados y públicos, aplicación de la ley, migración y administración de justicia. Para estos sistemas, el despliegue está condicionado a la realización de una evaluación de conformidad previa a la comercialización o puesta en servicio (artículo 43).
• Requisitos ex ante: los proveedores deben implementar un sistema de gestión de riesgos (artículo 9), utilizar conjuntos de datos de entrenamiento adecuados (artículo 10), diseñar documentación técnica que demuestre el cumplimiento (artículo 11) y garantizar transparencia y supervisión humana (artículo 14).
• Evaluación de impacto en derechos fundamentales: obligatoria para los usuarios de sistemas de alto riesgo antes de su primer uso (artículo 27).

Este modelo demuestra que la gobernanza pre-despliegue no es un ejercicio voluntario sino una exigencia legal con mecanismos de vigilancia del mercado (autoridades nacionales y Comisión Europea) y sanciones que pueden alcanzar hasta el 7% de la facturación global anual.

3. Herramientas técnicas para la evaluación pre-despliegue

La implementación efectiva de estos marcos requiere métodos técnicos que permitan anticipar violaciones de derechos. La literatura especializada ha avanzado en las siguientes áreas:

• Auditorías algorítmicas pre-despliegue: metodologías como algorithmic impact assessments (AIA) propuestas por Reisman et al. (2018) para el sector público, que evalúan impacto en equidad, privacidad y transparencia antes de la contratación o implementación. En entornos privados, el NIST AI Risk Management Framework (NIST, 2023) establece un proceso iterativo de mapeo de riesgos, medición y gestión previo a la implementación.
• Pruebas de sesgo y robustez: uso de conjuntos de datos de evaluación diseñados para detectar disparidades en resultados por grupos demográficos protegidos (Buolamwini & Gebru, 2018). Técnicas como differential privacy y model cards (Mitchell et al., 2019) permiten documentar limitaciones y supuestos de uso antes del despliegue.
• Simulación de escenarios de riesgo: empleo de red teaming adversario, donde equipos independientes intentan forzar al sistema a generar resultados violatorios de derechos en un entorno controlado antes de su puesta en producción (Brundage et al., 2020).

Un aspecto crítico es la trazabilidad: los sistemas deben estar diseñados para permitir la auditoría retrospectiva, pero la evaluación pre-despliegue requiere que se hayan incorporado desde la fase de diseño los mecanismos de registro (logging) que permitan verificar el cumplimiento posterior (Selbst et al., 2019).

4. Responsabilidades organizacionales y gobernanza interna

Los marcos pre-despliegue son ineficaces si no se asignan responsabilidades concretas dentro de las organizaciones. La literatura de AI governance enfatiza la necesidad de:

• Roles definidos: un responsable de cumplimiento algorítmico (AI Compliance Officer) con autoridad para detener despliegues que no cumplan con la evaluación de impacto (Raji et al., 2020).
• Consejos de revisión interna: comités multidisciplinarios que incluyan expertos en derechos humanos, protección de datos y ética, con capacidad de veto pre-despliegue (Mökander & Floridi, 2021).
• Transparencia con los afectados: cuando el sistema afecta a personas (ej. selección de personal, concesión de beneficios sociales), debe realizarse una comunicación previa informando sobre el uso de IA y la posibilidad de revisión humana (OECD, 2022).

5. Desafíos persistentes y limitaciones

Pese a los avances, persisten desafíos significativos:

1. Brecha entre evaluación y comportamiento real: los sistemas de aprendizaje continuo (online learning) pueden degradar su desempeño ético post-despliegue. Se requiere que la gobernanza incluya monitoreo continuo y capacidad de retiro del mercado (European Commission, 2024).
2. Complejidad de sistemas fundacionales: los modelos de lenguaje de gran escala (LLM) utilizados como base para múltiples aplicaciones presentan riesgos difusos que no siempre son detectables en evaluaciones estáticas previas al despliegue específico. Bommasani et al. (2021) abogan por una gobernanza que abarque tanto la capa de modelo base como las aplicaciones finales.
3. Asimetría de capacidades: las pequeñas y medianas empresas carecen de recursos para realizar evaluaciones de conformidad sofisticadas, lo que puede crear barreras de entrada o concentración de mercado. Los marcos deben incluir mecanismos de apoyo y estándares simplificados para sistemas de bajo riesgo (UNESCO, 2021).
4. Armonización internacional: la fragmentación regulatoria (UE, China, EE. UU. con enfoques distintos) dificulta que los desarrolladores globales apliquen marcos pre-despliegue consistentes. Iniciativas como el OECD AI Principles (2019) y el Global Partnership on AI buscan convergencia, pero aún no son vinculantes.

6. Conclusiones y recomendaciones

La gobernanza pre-despliegue de la IA orientada a la protección de derechos humanos fundamentales es no solo posible sino necesaria. Los desarrollos normativos de la UE demuestran que es factible establecer evaluaciones de conformidad, auditorías de impacto y requisitos de supervisión humana antes de la entrada en operación. Para que estos marcos sean efectivos, deben integrar:

• Exigibilidad legal con mecanismos de supervisión independiente.
• Metodologías técnicas estandarizadas (auditorías, pruebas de sesgo, model cards) que permitan verificar el cumplimiento de manera objetiva.
• Cultura de responsabilidad dentro de las organizaciones, donde la evaluación de derechos humanos sea un requisito de despliegue, no un ejercicio decorativo.
• Monitoreo post-despliegue como extensión del marco preventivo, reconociendo que los sistemas cambian con el tiempo.

La adopción global de estos principios, bajo estándares internacionales armonizados, constituye el siguiente paso para evitar que la inteligencia artificial se convierta en una fuente sistemática de vulneración de derechos, en lugar de una herramienta de progreso social.

Referencias

Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and machine learning: Limitations and opportunities. MIT Press.

Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., … Liang, P. (2021). On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258.

Brundage, M., Avin, S., Wang, J., Belfield, H., Krueger, G., Hadfield, G., … Anderljung, M. (2020). Toward trustworthy AI development: Mechanisms for supporting verifiable claims. arXiv preprint arXiv:2004.07213.

Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of the 1st Conference on Fairness, Accountability and Transparency, *81*, 77–91.

European Commission. (2024). *Regulation (EU) 2024/… of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act)*. Official Journal of the European Union.

Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., … Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency, 220–229.

Mökander, J., & Floridi, L. (2021). Ethics-based auditing to develop trustworthy AI. Minds and Machines, *31*(2), 323–343.

National Institute of Standards and Technology (NIST). (2023). Artificial intelligence risk management framework (AI RMF 1.0). U.S. Department of Commerce.

OECD. (2019). OECD principles on artificial intelligence. OECD Publishing.

OECD. (2022). OECD framework for the classification of AI systems. OECD Digital Economy Papers, No. 334.

Raji, I. D., Smart, A., White, R. N., Mitchell, M., Gebru, T., Hutchinson, B., … Barnes, P. (2020). Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, 33–44.

Reisman, D., Schultz, J., Crawford, K., & Whittaker, M. (2018). Algorithmic impact assessments: A practical framework for public agency accountability. AI Now Institute.

Selbst, A. D., Boyd, D., Friedler, S. A., Venkatasubramanian, S., & Vertesi, J. (2019). Fairness and abstraction in sociotechnical systems. Proceedings of the Conference on Fairness, Accountability, and Transparency, 59–68.

UNESCO. (2021). Recommendation on the ethics of artificial intelligence. UNESCO Publishing.