Human Intervention, Oversight and Control in Automated Decision-Making
DOI:
https://doi.org/10.18800/derechopucp.202502.006Keywords:
human oversight, human control, data protection, platform work, AI Act.Abstract
This article describes and analyzes human oversight and control in the context of automated decisions in Chile and the European Union. It examines regulations on human oversight and control measures adopted
(or in the process of being adopted) in the areas of personal data protection, regulation of artificial intelligence and platform work. The analysis explores the different justifications for human intervention in these areas, as well as the limitations and challenges to their implementation.
Downloads
References
Abraha, H. (2023). Regulating algorithmic employment decisions throughdata protection law. European Labour Law Journal, 14(2), 172-191. https://doi.org/10.1177/20319525231167317
Adams-Prassl, J., Abraha, H., Kelly-Lyth, A., Silberman, M. ‘Six’, & Rakshita, S.(2023). Regulating algorithmic management: A blueprint. European Labour Law Journal, 14(2), 124-151. https://doi.org/10.1177/20319525231167299
Acemoglu, D., & Johnson, S. (2023). Power and progress: Our thousand-year struggle over technology and prosperity. Hachette UK.
Agencia Española de Protección de Datos. (2024). Evaluación de la intervención humana en las decisiones automatizadas. https://www.aepd.es/prensa-y-comunicacion/blog/evaluacion-de-la-intervencion-humana-en-las-decisiones-automatizadas
Agudo, U., Liberal, K. G., Arrese, M., & Matute, H. (2024). The impact ofAI errors in a human-in-the-loop process. Cognitive Research, 9. https://doi.org/10.1186/s41235-023-00529-3
Aloisi, A., Rainone, S., & Countouris, N. (2023). An unfinished task?: Matching the Platform Work Directive with the EU and international. ILO Working paper, 101. https://doi.org/10.54394/ZSAX6857
Ashwini, K. P. (2024). Informe de la Relatora Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia y formas conexas de intolerancia. Asamblea de las Naciones Unidas. https://documents.un.org/doc/undoc/gen/g24/084/23/pdf/g2408423.pdf
Atria, F. (2016). La forma del derecho. Madrid: Marcial Pons, Ediciones Jurídicas y Sociales.
Barona Vilar, S. (2023). Dataización de la justicia (Algoritmos, Inteligencia Artificial y Justicia, ¿el comienzo de una gran amistad?). Revista Boliviana de Derecho, (36), 14-45. https://ssrn.com/abstract=4582084
Barrio Andrés, M. (2024). Capítulo I. Objeto, ámbito de aplicación y sentido del Reglamento Europeo de Inteligencia Artificial. En Moisés Barrio Andrés (dir.), El Reglamento Europeo de Inteligencia Artificial (pp. 21-45). Valencia: Tirant lo Blanch.
Beck, J., & Burri, T. (2024). From ‘Human Control’ in International Law to ‘Human Oversight’ in the New EU Act on Artificial Intelligence. En Julio Mecacci, Daniele Amoroso, Luciano Cavalcante Siebert, David Abbink, Jeroen van den Hoven y Filippo Santoni de Sio (eds.), Research Handbook on Meaningful Human Control of Artificial Intelligence Systems (pp. 105-132). http://dx.doi.org/10.2139/ssrn.4236554
Botero Arcila, B. (2024). AI liability in Europe: How does it complement risk regulation and deal with the problem of human oversight? Computer Law & Security Review, 54. https://doi.org/10.1016/j.clsr.2024.106012
Bradford, A. (2019). The Brussels Effect: How the European Union Rules the World. Nueva York: Oxford Academic. https://doi.org/10.1093/oso/9780190088583.001.0001
Breidbach, C. (2024). Responsible algorithmic decision-making. Organizational Dynamics, 53(2). https://doi.org/10.1016/j.orgdyn.2024.101031
Citron, D. K., & Pasquale, F. (2014). The scored society: Due process for automated predictions. Washington Law Review, 89(1). https://digitalcommons.law.uw.edu/wlr/vol89/iss1/2
Coddou Mc Manus, A., & Padilla Parga, R. (2024). Discriminación algorítmica en los procesos automatizados de reclutamiento y selección de personal. Revista Chilena De Derecho Y Tecnología, 13. https://doi.org/10.5354/0719-2584.2024.71312
Comisión Europea, Dirección General de Redes de Comunicación, Contenido y Tecnologías. (2019). Directrices éticas para una IA fiable. Oficina de Publicaciones. https://data.europa.eu/doi/10.2759/14078
Connor, K. (2004). Functionalism and Artificial Intelligence. Episteme, 15(1).
Consejo Superior Laboral. (2024). Evaluación implementación de la Ley 21.431, que modifica el Código del Trabajo, regulando el contrato de trabajadores de empresas de plataformas digitales de servicios. https://www.mintrab.gob.cl/wp-content/uploads/2024/08/Informe_Implementacion_Ley21.431_CSL2024.pdf
Contreras, P. (2022). La protección de datos personales de trabajadores de empresas de plataformas digitales de servicios y la regulación de la gestión algorítmica del trabajo bajo la Ley N° 21.431. En R. Palomo (ed.), El trabajo a través de plataformas digitales. Problemas y desafíos en Chile (pp. 157-172). Santiago de Chile: Tirant Lo Blanch.
Dowding, K., & Taylor, B. R. (2024). Algorithmic Decision-Making, Agency Costs, and Institution-Based Trust. Philosophy & Technology, 37(68). https://doi.org/10.1007/s13347-024-00757-5
European Data Protection Board. (2024). Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models. https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/opinion-282024-certain-data-protection-aspects_en
Faúndez-Ugalde, A., & Mellado-Silva, R. (2023). Uso de automatización de procesos robóticos por administraciones tributarias e impacto en los derechos humanos. Revista Chilena De Derecho Y Tecnología, 12. https://doi.org/10.5354/0719-2584.2023.65457
Gaudeul, A., Arrigoni, O., Charisi, V., Escobar-Planas, M., & Hupont Torres, I. (2024). Understanding the Impact of Human Oversight on Discriminatory Outcomes in AI-Supported Decision-Making. https://doi.org/10.3233/FAIA240598
Google. (2024). Perspectives on Issues in AI Governance. https://ai.google/static/documents/perspectives-on-issues-in-ai-governance.pdf
Grupo de trabajo sobre protección de datos del artículo 19 (WP19). (2017). Directrices sobre decisiones individualizadas automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, adoptadas el 3 de octubre de 2017 y revisadas el 6 de febrero de 2018 (WP215rev.01). https://www.aepd.es/documento/wp251rev01-es.pdf
Hacker, P. (2023). The European AI liability directives–Critique of a half-hearted approach and lessons for the future. Computer Law & Security Review, 51.
Hoff, K., & Bashir, M. (2015). Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust. Human Factors: The Journal of the Human Factors and Ergonomics Society, 57(3), 407-434. https://doi.org/10.1177/0018720814547570
Jiménez López, J. (2024). El Reglamento de Inteligencia Artificial y el Reglamento de protección de datos. En L. Cotino Hueso y P. Simón Castellanos (dirs.), Tratado sobre el Reglamento de Inteligencia Artificial de la Unión Europea (pp. 106-134). Navarra: Aranzadi.
Kaminski, M. (2019). The Right to Explanation, Explained. Berkeley Technology Law Journal, 34(1). https://dx.doi.org/10.2139/ssrn.3196985
Kellogg, K., Valentine, M., & Christin, A. (2020). Algorithms at Work: The New Contested Terrain of Control. The Academy of Management Annals, 14(1). https://doi.org/10.5465/annals.2018.0174
Klimas, T., & Vaiciukaite, J. (2008). The Law of Recitals in European Community Legislation. ILSA Journal of International & Comparative Law, 15.
Laux, J. (2024). Institutionalised distrust and human oversight of artificial intelligence: towards a democratic design of AI governance under the European Union AI Act. AI & Society, 39, 2853-2866. https://doi.org/10.1007/s00146-023-01777-z
Lazcoz Moratinos, G., & Castillo Parrilla, J. A. (2020). Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI. Revista chilena de derecho y tecnología, 9(1), 207-225. https://dx.doi.org/10.5354/0719-2584.2020.56843
Lazcoz Moratinos, G. (2024). La vigilancia o supervisión humana en el artículo 14 del Reglamento de inteligencia artificial: ¿Un mero requisito obligatorio para los sistemas de alto riesgo? En L. Cotino Hueso y P. Simón Castellanos (dirs.), Tratado sobre el Reglamento de Inteligencia Artificial de la Unión Europea (pp. 570-586). Navarra: Aranzadi.
Ledford, H. (2019). Millions Affected by Racial Bias In Health-Care Algorithm. Nature, 574(7780), 608-609.
Le Moli, G. (2022). AI vs Human Dignity: When Human Underperformance is Legally Required. Rethinking Capitalism, (4). https://geopolitique.eu/en/articles/ai-vs-human-dignity-when-human-underperformance-is-legally-required/
López-Tarruella Martínez, A. (2024a). El futuro Reglamento de Inteligencia Artificial y las relaciones con terceros Estados. Revista Electrónica De Estudios Internacionales, (45). https://reei.tirant.com/reei/article/view/2257
López-Tarruella Martínez, A. (2024b). Derecho a presentar una reclamación y derecho a una explicación. Vías de recurso para los particulares en el reglamento de inteligencia artificial. En L. Cotino Hueso y P. Simón Castellanos (dirs.), Tratado sobre el Reglamento de Inteligencia Artificial de la Unión Europea (pp. 757-780). Navarra: Aranzadi.
López, C., Davidoff, A., Luco, F., Humeres, M., & Correa, T. (2024). Users’ Experiences of Algorithm-Mediated Public Services: Folk Theories, Trust, and Strategies in the Global South. International Journal of Human-Computer Interaction, 41(8), 5039-5056. https://doi.org/10.1080/10447318.2024.2356910
Matsumi, H., & Solove, D. J. (2023). The Prediction Society: Algorithms and the Problems of Forecasting the Future. Illinois Law Review, (1). https://scholarship.law.gwu.edu/faculty_publications/1708
Maxwell, W. (2023). Meaningful Human Control to Detect Algorithmic Errors. Artificial Intelligence Law: Between Sectoral Rules and Comprehensive Regime - Comparative Law Perspectives, Forthcoming. https://ssrn.com/abstract=4551063
Medina, M. (2022). El derecho a conocer los algoritmos utilizados en la toma de decisiones. Aproximación desde la perspectiva del derecho fundamental a la protección de datos personales. Teoría y realidad constitucional, (49), 141-171.
Míguez Macho, L., & Torres Carlos, M. (2024). Capítulo II. Sistemas prohibidos y sistemas de alto riesgo. En Moisés Barrio Andrés (dir.), El Reglamento Europeo de Inteligencia Artificial (pp. 49-85). Valencia: Tirant lo Blanch.
Obregón Fernández, A., & Guillermo Lazcoz Moratinos, G. (2021). La supervisión humana de los sistemas de inteligencia artificial de alto riesgo. Aportaciones desde el Derecho Internacional Humanitario y el Derecho de la Unión Europea. Revista electrónica de estudios internacionales (REEI), (42). https://doi.org/10.17103/reei.42.08
Ossandón Cerda, F. (2021). Inteligencia Artificial en las Administraciones Tributarias: Oportunidades y Desafíos. Revista De Estudios Tributarios, 1(24), 123-156. https://revistaestudiostributarios.uchile.cl/index.php/RET/article/view/60703
Palma Ortigosa, A. (2019). Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos. https://laadministracionaldia.inap.es/noticia.asp?id=1509629
Ponce del Castillo, A., & Naranjo, D. (2022). Regulating algorithmic management. An assessment of the EC’s draft Directive on improving working conditions in platform work [ETUI Research Paper]. Policy Brief 2022.06.
Ponce Solé, J. (2019). Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista general de Derecho administrativo, (50), 58-67.
Ponce Solé, J. (2024). Límites jurídicos de la toma de decisiones discrecionales automatizadas mediante inteligencia artificial: Racionalidad, sabiduría y necesaria reserva jurídica de humanidad en el ámbito digital. Revista General de Derecho Administrativo, (66).
Radtke, T. (2025). Human Oversight under the AI Act and its interplay with Art. 22 GDPR. En B. Raue, A. von Ungern-Sternberg, L. K. Kumkar y T. Rüfner (eds.), Artificial Intelligence and Fundamental Rights: The AI Act of the European Union and its implications for global technology regulation (pp. 91-109). IRDT.
Ranchordas, S. (2021). Empathy in the digital administrative state. Duke Law Journal, 71, 1341-1389. https://scholarship.law.duke.edu/dlj/vol71/iss6/4
Rainone, S., & Aloisi, A. (2024). The EU Platform Work Directive: what’s new, what’s missing, what’s next? [ETUI Research Paper]. Policy Brief 2024.6. https://dx.doi.org/10.2139/ssrn.4957467
Robbins, S. (2023). The many meanings of meaningful human control. AI Ethics, 4, 1377-1388. https://doi.org/10.1007/s43681-023-00320-6
Todolí Sígnes, A. (2024). La regulación de la inteligencia artificial en la Directiva de trabajo en plataformas digitales. LABOS Revista De Derecho Del Trabajo Y Protección Social, 5, 26-46. https://doi.org/10.20318/labos.2024.9030
Veale, M., & Edwards, L. (2018). Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling. Computer Law & Security Review, 34(2), 398-404. https://doi.org/10.1016/j.clsr.2017.12.002
Viollier, P., & Fischer, E. (2023). La intervención humana como resguardo ante la toma automatizada de decisiones: implicancias éticas y jurídicas. En Michelle Azuaje Pirela (ed.), Introducción a la ética y el derecho de la inteligencia artificial (pp. 151-169). Madrid: La Ley.
Wachter, S., Mittelstadt, B., & Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law. https://dx.doi.org/10.2139/ssrn.2903469
Wachter, S. (2022). The theory of artificial immutability: Protecting algorithmic groups under anti-discrimination law. Tulane Law Review, 97(2). https://dx.doi.org/10.2139/ssrn.4099100
Wieczorek, K. (2021). The Conscience of a Machine? Artificial Intelligence and the Problem of Moral Responsibility. ER(R)GO. Teoria-Literatura-Kultura, (42), 15-34.
Jurisprudencia, normas y otros documentos legales
Directiva (UE) 2024/2831 del Parlamento Europeo y del Consejo de 23 de octubre de 2024 relativa a la mejora de las condiciones laborales en el trabajo en plataformas (Parlamento Europeo y Consejo Europeo, 2024). Diario Oficial de la Unión Europea, 11 de noviembre de 2024.
Directrices Éticas para una IA fiable (Grupo independiente de expertos de alto nivel sobre IA, 8 de abril de 2019). https://digital-strategy.ec.europa.eu/es/library/ethics-guidelines-trustworthy-ai
Dun & Bradstreet, Sentencia C-203/22 (TJUE, 27 de febrero de 2025).
Ley N.° 21.719, que regula la protección y el tratamiento de datos personales y crea la Agencia de Protección de Datos Personales (Ministerio Secretaría General de la Presidencia [Chile], 13 de diciembre de 2024). https://www.bcn.cl/leychile/navegar?idNorma=1209272
Ley N.° 21.431, que modifica el Código del Trabajo regulando el contrato de trabajadores de empresas de plataformas digitales de servicios (Ministerio del Trabajo y Previsión Social [Chile], 11 de marzo de 2022). https://www.bcn.cl/leychile/navegar?idNorma=1173544
Proyecto de Ley que Regula los Sistemas de Inteligencia Artificial (Boletín N.° 16821-19, Refundido con: 15869-19) (Cámara de Diputados [Chile], 7 de mayo de 2024).
Reglamento (UE) 2016/679, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (Parlamento Europeo y Consejo Europeo, 2016). Diario Oficial de la Unión Europea, 27 de abril de 2016.
Reglamento (UE) 2024/1689, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican múltiples reglamentos y directivas (Reglamento de Inteligencia Artificial) (Parlamento Europeo y Consejo, 13 de junio de 2024). Diario Oficial de la Unión Europea, 13 de junio de 2024.
Schufa, Sentencia C-634/21 (TJUE, 7 de diciembre de 2023).
Sentencia C/09/550982 / HA ZA 18-388 (Corte del Distrito de La Haya [Países Bajos], 5 de febrero de 2020).
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Michelle Carolina Azuaje Pirela
This work is licensed under a Creative Commons Attribution 4.0 International License.
