Algorithmic decision-making and the right to non-discrimination: regulation and bias mitigation in the Era of artificial intelligence

Authors

DOI:

https://doi.org/10.47975/digital.law.vol.5.n.3.watzko

Keywords:

Artificial Intelligence; AI; algorithmic bias; fundamental right to non-discrimination; regulation

Abstract

A fundamental objective of the Federative Republic of Brazil is to promote the well-being of all, without prejudice of origin, race, sex, color, age, or any other forms of discrimination, as ensured by Section IV, Article 3 of the 1988 Federal Constitution. In parallel, the rapid development of digital innovation and the increase of disruptive technologies in people's lives, such as artificial intelligence, is well known. However, social problems and violations of fundamental rights are part of everyday life in Brazil, and new technologies can amplify these threats, encouraging social discrimination through the incorporation of discriminatory biases. In light of this issue, this paper engages in a discussion about the necessary regulation of artificial intelligence in Brazil, conducting an analysis of Bill 2.338/2023, approved by the Federal Senate on December 10, 2024, in order to investigate if and how this AI regulation project protects the fundamental right to non-discrimination, which is threatened by the unregulated use of artificial intelligence systems. Additionally, this study also conducts a comparative analysis with the pioneering AI regulation legislation approved by the European Union, examining how the normative provisions aimed at protecting the fundamental right to non-discrimination were established there.

Downloads

Download data is not yet available.

Metrics

Metrics Loading ...

Author Biographies

Nicholas Andrey Monteiro Watzko, Universidade Federal do Paraná (Curitiba, Paraná, Brasil)

Mestrando no Programa de Pós-Graduação em Direito da Universidade Federal do Paraná (PPGD-UFPR). Membro do Núcleo de Investigações Constitucionais do Programa de Pós-Graduação em Direito da Universidade Federal do Paraná (NINC/PPGD-UFPR). Assessor Técnico da Secretaria de Estado da Fazenda do Paraná. E-mail: nwatzkow@gmail.com.

Lucas Bossoni Saikali, Universidade Federal do Paraná (Curitiba, Paraná, Brasil)

Doutorando em Direito pela Universidade Federal do Paraná (Curitiba, Paraná, Brasil), com período de pesquisa na Université Paris 1 Panthéon-Sorbonne (Paris, França). Mestre em Direito pela Pontifícia Universidade Católica do Paraná – PUCPR. Membro do Núcleo de Investigações Constitucionais do Programa de Pós-Graduação em Direito da Universidade Federal do Paraná (NINC/PPGD-UFPR). Assessor Técnico da Secretaria de Estado da Fazenda do Paraná. Advogado. E-mail: saikallilucas@gmail.com.

Ana Flávia Hadas, Universidade Federal do Paraná (Curitiba, Paraná, Brasil)

Bacharel em Direito pela Universidade Federal do Paraná (UFPR). Pós-graduada em Direito Processual Civil pela Academia Brasileira de Direito Constitucional (ABDConst). Advogada em Kanayama Advocacia. E-mail: af.hadas@hotmail.com.

References

ANDRADE, Rodrigo de Oliveira. O universo expandido da inteligência artificial. ChatGPT reacende debate sobre o potencial criativo de sistemas de linguagem natural e as implicações éticas relacionadas ao seu uso. Revista Pesquisa Fapesp. v. 24, n. 325, mar. 2023.

ARAÚJO, Valter Shuenquener de; ZULLO, Bruno Almeida; TORRES, Maurílio. Big Data, algoritmos e inteligência artificial na Administração Pública: reflexões para a sua utilização em um ambiente democrático. A&C – Revista de Direito Administrativo & Constitucional, Belo Horizonte, ano 20, n. 80, abr./jun. 2020, 2020.

ASSEMBLEIA GERAL DAS NAÇÕES UNIDAS. Declaração Universal dos Direitos Humanos. Resolução 217 A (III), Paris, 1948.

BELLESA, Mauro. Seminário debateu diretrizes que subsidiaram o projeto de lei sobre inteligência artificial. Instituto de Estudos Avançados da Universidade de São Paulo. Disponível em: <http://www.iea.usp.br/noticias/desafios-regulatorios-da-inteligencia-artificial>. Acesso em: 16 jul. 2024.

BITENCOURT, Caroline Müller; MARTINS, Luisa Helena Nicknig. A inteligência artificial nos órgãos constitucionais de controle de contas da administração pública brasileira. Revista de Investigações Constitucionais, Curitiba, v. 10, n. 3, e253, set./dez. 2023.

BLANCHET, Luiz Alberto; TRENTO, Melissa. A inteligência artificial como diretriz propulsora ao desenvolvimento e à eficiência administrativa. A&C – Revista de Direito Administrativo & Constitucional, Belo Horizonte, ano 23, n. 93, p. 153-172, 2023.

BRASIL. Senado Federal. Projeto de Lei nº 2.338, de 3 de maio de 2023. Dispõe sobre o uso da Inteligência Artificial. Brasília, DF: Senado Federal, 2023. Disponível em: <https://legis.senado.leg.br/sdleg-getter/documento?dm=9347622&ts=1720798347645&disposition=inline>. Acesso em: 16 jul. 2024.

BURRELL, Jenna. How the machine ‘thinks’: understanding opacity in machine learning algorithms. Big Data & Society, Berkeley jan./jun. 2016, p. 3-5. Disponível em: <https://journals.sagepub.com/doi/pdf/10.1177/2053951715622512>. Acesso em: 15 jul. 2024.

CAIRNS, John W. Watson, Walton, and the historyof legal transplants. Georgia Journal of International & Comparative Law, Athens, v. 41, p. 637-696, 2013.

CASTILLO AUCANCELA, Andrés Mauricio. La era del big data y open data en la administración pública. Revista Eurolatinoamericana de Derecho Administrativo, Santa Fe, vol. 8, n. 1, p. 61-76, ene./jun. 2021.

CASTRO, Bruno Fediuk; BOMFIM, Gilberto. A Inteligência Artificial, o Direito e os Vieses. Revista Ilustração, Cruz Alta, v. 1, n. 3, p. 31-45, 2021.

ChatGPT. Resposta gerada pelo modelo de linguagem GPT-3.5 da OpenAI. São Francisco, 2024. Disponível em: <https://chatgpt.com/>. Acesso em: 9 jul. 2024.

COLETIVO LEGIS-ATIVO; MARIOTO, Djiovanni. Inteligência artificial: a nova fronteira do Legislativo brasileiro. Congresso em foco. UOL. Disponível em: <https://congressoemfoco.uol.com.br/area/pais/inteligencia-artificial-legislativo/>. Acesso em: 3 jul. 2024.

COMISSÃO INTERAMERICANA DE DIREITOS HUMANOS. Convenção Americana sobre Direitos Humanos (Pato de San José de Costa Rica), Costa Rica, 1969.

CONGRESSO NACIONAL. Projeto de Lei nº 2.338, de 2023. Senado Federal. Disponível em: <https://legis.senado.leg.br/sdleg-getter/documento?dm=9347622&ts=1734002238634&disposition=inline>. Acesso em: 10 dez. 2024.

CONGRESSO NACIONAL. Projeto de Lei nº 2.338, de 2023. Senado Federal. Disponível em: <https://www25.senado.leg.br/web/atividade/materias/-/materia/157233>. Acesso em: 9 jul. 2024.

CONSELHO NACIONAL DE JUSTIÇA. Resolução nº 332. Min. Dias Toffoli. Publicada em 25 de agosto de 2020, DJe/CNJ, nº 274, p. 4-8. Disponível em: <https://atos.cnj.jus.br/atos/detalhar/3429>. Acesso em: 16 jul. 2024.

CORVALÁN, Juan Gustavo. Inteligencia artificial: retos, desafíos y oportunidades – Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de Investigações Constitucionais, Curitiba, vol. 5, n. 1, 2018.

COSTA, Ramon; KREMER, Bianca. Inteligência artificial e discriminação: desafios e perspectivas para a proteção de grupos vulneráveis diante das tecnologias de reconhecimento facial. Revista de Direitos Fundamentais & Justiça, Belo Horizonte, ano. 16, p. 145-167, 2022.

CRISTÓVAM, José Sérgio da Silva; SAIKALI, Lucas Bossoni; SOUZA, Thanderson Pereira de. Governo Digital na Implementação de Serviços Públicos para a Concretização de Direitos Sociais no Brasil. Seqüência, Florianópolis, v. 41, n. 84, p. 209-242, 2020.

DEFENSORIA PÚBLICA DO ESTADO DO RIO DE JANEIRO. Relatório consolidado sobre reconhecimento fotográfico em sede policial. Diretoria de Estudos e Pesquisas de Acesso à Justiça. Disponível em: <https://www.defensoria.rj.def.br/uploads/arquivos/92d976d0d7b44b338a660ec06af008fa.pdf>. Acesso em: 14 jul. 2024.

DUTRA, Deo Campos. Método(s) em Direito Comparado. Revista da Faculdade de Direito – UFPR, Curitiba, v. 61, n. 3, p. 189-212, set./dez. 2016.

Enciclopédia Significados. Significado de viés. Disponível em: <https://www.significados.com.br/vies/>. Acesso em: 12 jul. 2024.

FACHINETTI, Aline Fuke; CAMARGO, Guilherme. Convenção 108+: o tratado de proteção de dados e a relevância do tema para o Brasil. Consultor Jurídico. Disponível em: <https://www.conjur.com.br/2021-jul-04/opiniao-convencao-108-relevancia-protecao-dados/>. Acesso em: 17 jul. 2024.

FRANCO, Nádia. Comissão do Senado adia votação do PL da Inteligência Ariticial. Agência Brasil. Disponível em: <https://agenciabrasil.ebc.com.br/politica/noticia/2024-07/comissao-do-senado-adia-votacao-do-pl-da-inteligencia-artificial>. Acesso em: 9 jul. 2024.

FREITAS, Juarez. A hermenêutica jurídica e a ciência do cérebro: como lidar com os automatismos mentais. Revista da AJURIS, Porto Alegre, v. 40, n. 130, p. 223-244, 2013.

FUTURE OF LIFE INSTITUTE. EU Artificial Intelligence Act. The AI Act Explorer, 2024. Disponível em: <https://artificialintelligenceact.eu/ai-act-explorer/#weglot_switcher>. Acesso em: 17 jul. 2024.

GABARDO, Emerson; VIANA, Ana Cristina Aguilar; FREITAS, Olga Lúcia Castreghini. The digital divide in Brazil and the accessibility as a fundamental right: la brecha digital en Brasil y la accesibilidad como derecho fundamental. Revista Chilena de Derecho y Tecnología, v. 11, n. 2, 2022.

GOVERNO FEDERAL. Estratégia Brasileira de Inteligência Artificial – EBIA. Ministério da Ciência, Tecnologia e Inovação. Disponível em: <https://www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/inteligencia-artificial>. Acesso em: 10 jul. 2024.

GUILLOT, Jaume Duch. Lei da EU sobre a IA: primeira regulamentação de inteligência artificial. Direção-Geral de Comunicação do Parlamento Europeu. Disponível em: <https://www.europarl.europa.eu/pdfs/news/expert/2023/6/story/20230601STO93804/20230601STO93804_pt.pdf>. Acesso em: 17 jul. 2024.

GUSSOLI, Felipe Klein. Hierarquia supraconstitucional relativa dos tratados internacionais de direitos humanos. Revista de Investigações Constitucionais, Curitiba, vol. 6, n. 3, p. 703-747, set./dez. 2019.

HACHEM, Daniel Wunder; FARIA, Luzardo. Regulação jurídica das novas tecnologias no Direito Administrativo brasileiro: impactos causados por Uber, WhatsApp, Netflix e seus similares. Revista Brasileira de Direito IMED, v. 15, p. 180-203, 2019.

HARTMANN, Ivan A. et al. Regulação da inteligência artificial no Brasil: policy paper. Centro de Tecnologia e Sociedade da Fundação Getúlio Vargas (FGV Direito Rio), Rio de Janeiro, 2020. Disponível em: <https://repositorio.fgv.br/items/aaeefab3-4f62-4195-8321-eeb1ef634a26>. Acesso em: 15 jul. 2024.

KREUZ, Letícia Regina Camargo; VIANA, Ana Cristina Aguilar. 4ª Revolução Industrial e Governo Digital: Exame de Experiências Implementadas no Brasil. Revista Eurolatinoamericana de Derecho Administrativo, Santa Fe, vol. 5, n. 2, jul./dez., p. 267-286, 2018.

LAGO, Lucas. Heurísticas, redes sociais e algoritmos. Centro de Estudos Sociedade e Tecnologia da Universidade de São Paulo, v. 1, n. 6, Junho/2016. Disponível em: <http://www.cest.poli.usp.br/wp-content/uploads/2018/08/V1N6-Heur%C3%ADsticas-redes-sociais-e-algoritmos.pdf>. Acesso em> 12 jul. 2024.

LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren; ANGWIN, Julia. How we analyzed the COMPAS recidivism algorithm. ProPublica, maio de 2016. Disponível em: <https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm>. Acesso em: 12 jul. 2024.

LEGG, Shane; HUTTER, Marcus. A collection of definitions of intelligence. Frontiers in Artificial Intelligence and Applications, v. 157, 2007, p. 9. Disponível em: <https://arxiv.org/abs/0706.3639>. Acesso em: 3 jul. 2024.

LEGRAND, Pierre. A impossibilidade de “transplantes jurídicos”. Cadernos do Programa de Pós-Graduação em Direito – PPGDir./UFRGS, Porto Alegre, v. 9, n. 1, p. 11-39, jan./jul. 2014.

MELLO, Patrícia Campos. Lei da IA é aprovada no Senado com previsão de remuneração de direitos autorais. Folha de S. Paulo. Disponível em: <https://www1.folha.uol.com.br/mercado/2024/12/lei-de-ia-e-aprovada-no-senado-com-previsao-de-remuneracao-de-direitos-autorais.shtml?utm_source=sharenativo&utm_medium=social&utm_campaign=sharenativo>. Acesso em: 10 dez. 2024.

NOHARA, Irene Patrícia; GABARDO, Emerson. Superinteligência e os desafios reais e fictícios de regulação em tempos de Inteligência Artificial. Seqüência, Florianópolis, v. 45, n. 97, 2024.

ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Broadband Policies for Latin America and the Caribbean: A Digital Economy Toolkit Digital government. OECD, IDB, 2016, p. 361. Disponível em: <https://read.oecd-ilibrary.org/science-and-technology/broadband-policies-for-latin-america-and-the-caribbean/digital-government_9789264251823-15-en#page3>. Acesso em: 10 jul. 2024.

PINHEIRO, Pereira Guilherme; BORGES, Maria Ruth; MELLO, Flávio Luis. Danos envolvendo veículos autônomos e a responsabilidade civil do fornecedor. Revista Brasileira de Direito Civil, v. 21, n. 03, 2019.

PUSCHEL, André Felipe Silva; RODRIGUES, Roberto Tessis; VALLE, Vivian Cristina Lima López. O dilema ético da decisão algorítmica na administração pública. A&C – Revista de Direito Administrativo & Constitucional, Belo Horizonte, ano 22, n. 90, p. 207-226, 2022.

RAMOS, André de Carvalho. Pluralidade das ordens jurídicas: uma nova perspectiva na relação entre o Direito Internacional e o Direito Constitucional. Revista da Faculdade de Direito da Universidade de São Paulo, São Paulo, v. 106/107, p. 497-524, jan./dez. 2011/2012

RODRIGUEZ, Ana Rosa. Gobernanza de datos, herramientas digitales en el mundo del trabajo y la economía: análisis del régimen legal y sus perspectivas. International Journal of Digital Law, Belo Horizonte, ano 4, n. 3, p. 11-41, set./dez., 2023.

RUBACK, Lívia; AVILA, Sandra; CANTERO, Lucia. Vieses no aprendizado de máquina e suas implicações sociais: um estudo de caso no reconhecimento facial. In: Workshop sobre as implicações da computação na sociedade (WICS), evento online. Anais. Porto Alegre: Sociedade Brasileira de Computação, 2021.

SAINZ, Nilton; GABARDO, Emerson; ONGARATTO, Natália. Discriminação algorítmica no Brasil: uma análise da pesquisa jurídica e suas perspectivas para a compreensão do fenômeno. Revista de Direito Público – RDP, Brasília, v. 21, n. 110, p. 258-289, abr./jun. 2024.

SALOMÃO, Luis Felipe (Coord). Inteligência Artificial: tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro. Centro de Inovação, Administração e Pesquisa do Judiciário. Função Getúlio Vargas (FGV Conhecimento). 2. ed. Rio de Janeiro, 2022. Disponível em: <https://ciapj.fgv.br/sites/ciapj.fgv.br/files/relatorio_ia_2fase.pdf>. Acesso em: 3 jul. 2024.

SCHIETTI CRUS, Rogerio. Investigação criminal, reconhecimento de pessoas e erros judiciais: considerações em torno da nova jurisprudência do Superior Tribunal de Justiça. Revista Brasileira de Direito Processual Penal, v. 8, n. 2, mai./ago. 2022.

SILVA, Tarcízio. Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc, 2022.

TAUK, Caroline Somesom; SALOMÃO, Luis Felipe. Inteligência Artificial no Judiciário brasileiro: estudo empírico sobre algoritmos e discriminação. Revista Jurídica Diké, Ilhéus, v. 22, n. 23, 2023.

TOLEDO, Claudia; PESSOA, Daniel. O uso de inteligência artificial na tomada de decisão judicial. Revista de Investigações Constitucionais, Curitiba, v. 10, n. 1, e237, jan./abr. 2023.

UNIÃO EUROPEIA. Carta de Direitos Fundamentais da União Europeia. Jornal Oficial das Comunidades Europeias. Disponível em: <https://www.europarl.europa.eu/charter/pdf/text_pt.pdf>. Acesso em: 17 jul. 2024.

VALLE, Vanice Lírio do. Inteligência artificial incorporada à Administração Pública: mitos e desafios teóricos. A&C – Revista de Direito Administrativo & Constitucional, Belo Horizonte, ano 20, n. 81, p. 179-200, 2020.

VALLE, Vivian Cristina Lima López; GALLO, William Ivan. Inteligência artificial e capacidades regulatórias do Estado no ambiente da administração pública digital. A&C – Revista de Direito Administrativo & Constitucional, Belo Horizonte, ano 20, n. 82, p. 67-86, out./ dez. 2020.

VALLE, Vivian Lima López; FUENTES i GASÓ, Josep Ramón; AJUS, Attílio Martins. Decisão judicial assistida por inteligência artificial e o Sistema Victor do Supremo Tribunal Federal. Revista de Investigações Constitucionais, Curitiba, vol. 10, n. 2, e252, maio/ago. 2023, p. 10.

VIANA, Ana Cristina Aguilar. Digital transformation in public administration: from e-Government to digital government. International Journal of Digital Law, Belo Horizonte, ano 2, n. 1, p. 29-46, jan./abr. 2021.

VIANA, Ana Cristina Aguilar; MIRANDA, Caroline Ferreira de. Perfil algorítimico e discriminação digital: uma leitura a partir das normas europeias e brasileiras, p. 481-504. In: WACHOWICZ, Marcos (Org.). Proteção de dados pessoais em perspectiva: LGPD e RGPD na ótica do direito comparado. Curitiba, 2020.

Published

2025-03-08

How to Cite

WATZKO, Nicholas Andrey Monteiro; SAIKALI, Lucas Bossoni; HADAS, Ana Flávia. Algorithmic decision-making and the right to non-discrimination: regulation and bias mitigation in the Era of artificial intelligence. International Journal of Digital Law , Belo Horizonte, v. 5, n. 3, p. 115–146, 2025. DOI: 10.47975/digital.law.vol.5.n.3.watzko. Disponível em: https://journal.nuped.com.br/index.php/revista/article/view/1288. Acesso em: 14 mar. 2025.

Issue

Section

Articles

Categories

Similar Articles

1 2 3 4 5 6 7 8 9 > >> 

You may also start an advanced similarity search for this article.