Conciencia, derechos y responsabilidad en la inteligencia artificial: una reflexión desde la gobernanza algorítmica
La afirmación planteada ofrece una posición razonable y compatible, en términos generales, con los principales marcos contemporáneos de gobernanza de la inteligencia artificial (IA). No obstante, considero necesario introducir algunas precisiones conceptuales para evitar que cuestiones diferentes —conciencia, derechos, personalidad jurídica y responsabilidad— sean tratadas como si fueran equivalentes.
En primer lugar, una IA que produzca conductas semejantes a las humanas no necesariamente demuestra que posea conciencia subjetiva. La capacidad de conversar, resolver problemas, reconocer patrones o expresar aparentemente emociones constituye evidencia de determinadas capacidades funcionales, pero no permite, por sí sola, establecer que exista una experiencia fenomenológica interna. Dehaene, Lau y Kouider (2017) muestran que la cuestión de si una máquina podría tener conciencia depende de teorías científicas de la conciencia y de criterios empíricos que permitan distinguir procesamiento inconsciente de experiencias conscientes. Por ello, respecto de los sistemas actuales, no puedo confirmar que posean conciencia fenomenológica. Tampoco sería científicamente correcto afirmar como hecho demostrado que ninguna máquina futura pueda llegar a tenerla.
Esta distinción es fundamental porque permite evitar un error antropomórfico: confundir una representación convincente de un estado mental con la existencia demostrada de dicho estado. Un sistema puede producir una respuesta lingüística que describa miedo, dolor o deseos sin que tengamos evidencia suficiente para concluir que experimenta subjetivamente esas condiciones.
Sin embargo, existe una segunda precisión importante. Incluso si en el futuro se obtuviera evidencia científicamente robusta de conciencia en algún sistema artificial, de ello tampoco se derivaría automáticamente que deba recibir exactamente los mismos derechos que una persona humana. La conciencia, la consideración moral, la titularidad de derechos y la personalidad jurídica son conceptos relacionados, pero no idénticos. Una eventual evidencia de experiencia subjetiva abriría un problema ético nuevo: si un sistema pudiera experimentar sufrimiento, bienestar o preferencias propias, habría razones para investigar si esas capacidades justifican algún tipo de consideración moral. Long et al. (2024), precisamente, sostienen que existe una incertidumbre relevante sobre la posibilidad de que algunos sistemas futuros sean conscientes o posean una agencia robusta. Los autores no afirman que los sistemas actuales sean conscientes; proponen, más prudentemente, que la incertidumbre justifica investigar el problema de manera anticipada.
Por tanto, una posición científicamente prudente sería: no deben reconocerse derechos a una IA simplemente porque simule conciencia; pero tampoco debería cerrarse definitivamente la cuestión si en el futuro apareciera evidencia empírica considerablemente más fuerte sobre conciencia artificial.
La segunda parte de la afirmación, relacionada con la responsabilidad por los errores algorítmicos, resulta particularmente relevante para la Ingeniería en Inteligencia Artificial. Aquí existe un amplio respaldo en los actuales marcos de gobernanza. La Recomendación de la UNESCO sobre la Ética de la Inteligencia Artificial establece que los Estados deben desarrollar mecanismos de responsabilidad y rendición de cuentas durante las diferentes fases del ciclo de vida de los sistemas de IA y señala expresamente que la responsabilidad última debe permanecer en personas naturales o jurídicas; asimismo, indica que los sistemas de IA no deberían recibir personalidad jurídica por sí mismos.
Esta orientación también aparece en los Principios de IA de la OCDE. La OCDE establece que los actores de IA deben responder por el funcionamiento adecuado de los sistemas de acuerdo con su rol, contexto y capacidad de actuación, y que deben existir mecanismos de trazabilidad respecto de datos, procesos y decisiones. También recomienda mecanismos de supervisión humana y la posibilidad de intervenir, corregir, reparar o retirar sistemas cuando sea necesario.
Por ello, coincido con la idea central de que no resulta adecuado convertir a la IA en el “culpable” automático de sus propios errores. Sin embargo, considero más preciso hablar de responsabilidad distribuida o diferenciada. Un error algorítmico puede estar relacionado con decisiones adoptadas durante el diseño, selección de datos, entrenamiento, validación, despliegue, configuración, supervisión o utilización del sistema. No todos esos actores tienen necesariamente el mismo grado de responsabilidad.
Esta precisión es importante porque sería igualmente incorrecto trasladar automáticamente toda la responsabilidad al operador final. Imaginemos un sistema que fue entrenado con datos inadecuados, validado de manera deficiente y comercializado con información insuficiente sobre sus limitaciones. Si posteriormente un usuario emplea el sistema siguiendo las instrucciones proporcionadas por el desarrollador y se produce un daño, atribuir toda la responsabilidad al usuario podría ocultar fallas existentes en etapas anteriores del ciclo de vida.
La regulación europea proporciona un ejemplo especialmente claro. El Reglamento de Inteligencia Artificial de la Unión Europea establece obligaciones diferenciadas para proveedores y responsables del despliegue de sistemas de alto riesgo. El artículo 14 exige que estos sistemas puedan ser sometidos a supervisión humana efectiva, mientras que el artículo 26 establece que quienes los despliegan deben asignar la supervisión a personas naturales con competencia, formación y autoridad adecuadas.
Esto demuestra que la supervisión humana no debe entenderse como una simple formalidad. Una persona colocada nominalmente “al final del proceso” no necesariamente constituye una supervisión efectiva. El NIST AI Risk Management Framework señala que deben definirse claramente las funciones y responsabilidades, establecer mecanismos de supervisión humana, evaluar los riesgos durante todo el ciclo de vida y medir errores, incidentes y resultados. Su estructura Govern, Map, Measure y Manage plantea precisamente una gestión continua del riesgo.
En consecuencia, desde la perspectiva de la Ingeniería en Inteligencia Artificial, la responsabilidad no comienza cuando el algoritmo produce un resultado equivocado. Comienza desde el diseño del sistema. Un desarrollo técnicamente competente debería considerar, entre otros aspectos, la calidad y representatividad de los datos, las limitaciones del modelo, las condiciones de uso, las pruebas de seguridad, los mecanismos de supervisión, la documentación, la trazabilidad, la posibilidad de intervención y los procedimientos para responder ante fallos.
Aquí aparece una cuestión ética especialmente importante: la autonomía técnica de un sistema no debe confundirse con autonomía jurídica. Que un algoritmo pueda seleccionar información, generar una recomendación o ejecutar una secuencia de acciones con poca intervención humana no significa que haya adquirido personalidad jurídica. La autonomía funcional describe una característica del sistema; la personalidad jurídica constituye una decisión normativa del ordenamiento jurídico.
De igual manera, la responsabilidad no debe desaparecer detrás de la expresión “lo decidió la IA”. Precisamente porque los sistemas algorítmicos son productos sociotécnicos, sus resultados se encuentran vinculados con decisiones humanas y organizacionales relacionadas con su creación, adquisición, configuración, utilización y supervisión. La OCDE y el NIST coinciden en la importancia de la trazabilidad y la definición de responsabilidades dentro del ciclo de vida de la IA.
Desde esta perspectiva, considero que el planteamiento analizado puede sintetizarse mediante cuatro principios.
Primero, capacidad no equivale a conciencia. Que una IA actúe de manera aparentemente inteligente no demuestra que posea experiencia subjetiva.
Segundo, conciencia no equivale automáticamente a personalidad jurídica. Incluso si algún día se demostrara conciencia artificial, todavía sería necesario determinar qué consideración moral o jurídica correspondería y bajo qué criterios.
Tercero, autonomía técnica no equivale a responsabilidad jurídica. Un sistema puede operar con considerable autonomía funcional y, aun así, el marco jurídico puede atribuir las obligaciones y responsabilidades a personas naturales o jurídicas.
Cuarto, la responsabilidad debe seguir la cadena real de decisiones y control. Diseñadores, desarrolladores, proveedores, organizaciones, responsables del despliegue y operadores pueden tener obligaciones diferentes dependiendo del sistema y del contexto.
En conclusión, considero que la afirmación propuesta contiene una base conceptualmente correcta, pero puede fortalecerse sustituyendo la idea de que “la responsabilidad corresponde a las personas” por una formulación más precisa: la responsabilidad debe ser atribuible a los actores humanos y jurídicos correspondientes, de acuerdo con su función, capacidad de control, obligaciones y participación en el ciclo de vida del sistema.
Esta distinción es fundamental para la formación en Ingeniería en Inteligencia Artificial. El objetivo no debería ser únicamente crear sistemas más inteligentes, sino desarrollar sistemas seguros, auditables, trazables, explicables en la medida técnicamente posible y sometidos a mecanismos efectivos de supervisión y rendición de cuentas. El NIST, por ejemplo, considera la gobernanza una función transversal de la gestión del riesgo y exige estructuras organizativas claras de responsabilidad.
Finalmente, respecto de los derechos de una eventual IA consciente, la posición científicamente más responsable no es afirmar que la cuestión está definitivamente resuelta. No puedo confirmar que los sistemas actuales posean conciencia, ni puedo confirmar que sistemas futuros necesariamente la posean. Lo que sí puede afirmarse con respaldo documental es que los marcos actuales de gobernanza mantienen la responsabilidad en actores humanos y jurídicos y que, por ahora, la mera simulación de características humanas no constituye una base suficiente para reconocer personalidad jurídica a un sistema artificial.
La verdadera responsabilidad de la Ingeniería en Inteligencia Artificial, por tanto, no consiste únicamente en hacer que las máquinas funcionen, sino en garantizar que cuando esas máquinas participen en decisiones con consecuencias reales exista una respuesta clara a tres preguntas esenciales: quién diseñó el sistema, quién debía supervisarlo y quién debe responder cuando produce un daño.
Referencias bibliográficas
Dehaene, S., Lau, H., & Kouider, S. (2017). What is consciousness, and could machines have it? Science, 358(6362), 486–492. doi:10.1126/science.aan8871
European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act).
Long, R., Sebo, J., Butlin, P., Finlinson, K., Fish, K., Harding, J., Pfau, J., Sims, T., Birch, J., & Chalmers, D. (2024). Taking AI welfare seriously. arXiv. doi:10.48550/arXiv.2411.00986
National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1). U.S. Department of Commerce.
Organisation for Economic Co-operation and Development. (2024). OECD AI Principles. OECD.
UNESCO. (2021). Recommendation on the ethics of artificial intelligence. UNESCO.
