Failures of Artificial Intelligence regulation in the fight against algorithmic discrimination carried out by facial recognition
DOI:
https://doi.org/10.5380/rrddis.v3i6.99342Keywords:
globalization, artificial intelligence, facial recognition, inequality, algorithmic discriminationAbstract
Facial recognition technology is still incapable of being used in criminal prosecution without presenting demographic biases. Efforts to regulate the use of artificial intelligence are notable, mainly in Europe. Based on European legislation, Brazil seeks greater control in the use of these technologies, which are already implemented in the identification of suspects, even in the face of violations of fundamental rights, especially with regard to racial equality. Based on this context, the research seeks to answer the following question: are projects that aim to regulate AI in Brazil effective in combating algorithmic discrimination carried out by facial recognition? Within this objective, the research uses a deductive method to understand the guidelines proposed by the Criminal LGPD Draft and the Legal Framework for Artificial Intelligence and determine whether these measures are capable of containing the algorithmic discrimination, especially in the use of facial recognition technologies for criminal prosecution. As a result, the research concluded that even with overcoming technological flaws that still compromise the efficiency of the technology, permission for its use must also be based on the principle of transparency, essential in the implementation of artificial intelligence (AI) by public authorities. Thus, given the difficulty in developing AIs that are simultaneously accurate and transparent, it is still unfeasible to implement facial recognition technology without maintaining racial inequality.
References
ACLU. AMERICAN CIVIL LIBERTIES UNION. After Third Wrongful Arrest, ACLU Slams Detroit Police Department for Continuing to Use Faulty Facial Recognition Technology, 6 ago. 2023. Disponível em: https://www.aclu.org/press-releases/after-third-wrongful-arrest-aclu-slams-detroit-police-department-for-continuing-to-use-faulty-facial-recognition-technology. Acesso em: 07 out. 2023.
AZEVEDO, Cynthia Picolo Gonzaga de; BUARQUE, Gabriela; PEREIRA, José Renato Laranjeira de. Nota técnica sobre PL 2338/2023 que busca regular a IA. Brasília: LAPIN, 2023. 56 p.
BRASIL [Lei Geral de Proteção de Dados]. Lei nº 13.709, de 14 de agosto de 2018. Diário Oficial da União, Brasília, DF, 1984. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm .Acesso em: 08 out. 2023.
BRASIL. Câmara dos Deputados. Anteprojeto de Lei de Proteção de Dados para segurança pública e persecução penal, de 26 de novembro de 2019. Brasília: Câmara dos Deputados, 2019. Disponível em: https://static.poder360.com.br/2020/11/DADOS-Anteprojeto-comissao-protecao-dados-seguranca-persecucao-FINAL.pdf. Acesso em: 08 out. 2023.
BRASIL. Câmara dos Deputados. Projeto de Lei n° 2338, de 2023, de 3 de maio de 2023. Brasília: Câmara dos Deputados, 2023. Disponível em: https://www25.senado.leg.br/web/atividade/materias/-/materia/157233. Acesso em: 08 out. 2023.
BIG BROTHER WATCH. 65 parliamentarians call for “immediate stop” to live facial recognition surveillance, 6 out. 2023. Disponível em: https://bigbrotherwatch.org.uk/2023/10/65-parliamentarians-call-for-immediate-stop-to--live-facial-recognition-surveillance/. Acesso em: 07 out. 2023.
BUOLAMWINI, Joy; GEBRU, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of Machine Learning Research, v. 81, p. 1–15, 2018. New York, Conference on Fairness, Accountability, and Transparency. Disponível em: https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf. Acesso em: 07 out. 2023.
CESEC. CENTRO DE ESTUDOS DE SEGURANÇA E CIDADANIA. Negros são os mais abordados pela polícia no rio em qualquer situação, diz pesquisa, 15 fev. 2022. Disponível em: https://cesecseguranca.com.br/reportagens/negros-sao-os-mais-abordados-pela-policia-no-rio-em-qualquer-situacao-diz-pesquisa/. Acesso em: 08 out. 2023.
CNJ. CONSELHO NACIONAL DE JUSTIÇA. Grupo de trabalho reconhecimento de pessoas. Brasília: CNJ, 2022. 172 p.
COUNCIL OF THE EUROPEAN UNION. Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence and amending certain Union legislative acts - General approach, 25 November 2022. Brussels, 2022. Disponível em: https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/en/pdf. Acesso em: 07 out. 2023.
CPOST. CHICAGO PROJECT ON SECURITY AND THREATS. American Face of Insurrection: Analysis of Individuals Charged for Storming the US Capitol on January 6, 2021. Chicago: CPOST, 2022. 34 p.
DEFENSORIA PÚBLICA DO ESTADO DO RIO DE JANEIRO. Relatórios apontam falhas em prisões após reconhecimento fotográfico, 24 fev. 2021. Disponível em: https://www.defensoria.rj.def.br/noticia/detalhes/11088-Relatorios-apontam-falhas-em-prisoes-apos-reconhecimento-fotografico. Acesso em: 08 out. 2023.
DOOLEY, Samuel et all. Robustness Disparities in Face Detection. In: 36th Conference on Neural Information Processing Systems, 2022. Disponível em: https://proceedings.neurips.cc/paper_files/paper/2022/file/f9faef4e1b4dbbd48ef60056ffe14c90-Paper-Datasets_and_Benchmarks.pdf. Acesso em: 07 out. 2023.
EUROPEAN COUNCIL. Artificial intelligence act: Council and Parliament strike a deal on the first rules for AI in the world, 9 dez. 2023. Disponível em: https://www.consilium.europa.eu/en/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/. Acesso em: 18 dez. 2023.
EUROPEAN PARLIAMENT. Amendments adopted by the European Parliament on 14 June 2023 on the proposal for a regulation of the European Parliament and of the Council on laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)), 14 jun. 2023. Strasbourg, 2023. Disponível em: https://www.europarl.europa.eu/doceo/document/ TA-9-2023-0236_EN.html. Acesso em: 07 out. 2023.
FRANCISCO, Pedro Augusto P; HURE, Louise Marie; RIELLI, Mariana Marques. Regulação do reconhecimento facial no setor público: avaliação de experiências internacionais. Rio de Janeiro: Instituto Igarapé, 2020. 20 p.
GOOGLE RESEARCH. The What-If Tool: Interactive Probing of Machine Learning Models, [s.d]. Disponível em: https://research.google/pubs/the-what-if-tool-interactive-probing-of-machine-learning-models/. Acesso em: 08 out. 2023.
GOOGLE CLOUD. What is Big Data?, [s.d]. Disponível em: https://cloud.google.com/learn/what-is-big-data. Acesso em: 07 out. 2023.
GUIMARÃES, Hellen. Nos erros de reconhecimento facial, um “caso isolado” atrás do outro, 24 set. 2021. Disponível em: https://piaui.folha.uol.com.br/nos-erros-de-reconhecimento-facial-um-caso-isolado-atras-do-outro/. Acesso em: 07 out. 2023.
HARWELL, Drew; TIMBERG, Craig. How America’s surveillance networks helped the FBI catch the Capitol mob, 02 abr. 2021. The Washington Post. Disponível em: https://www.washingtonpost.com/technology/2021/04/02/capitol-siege-arrests-technology-fbi-privacy/. Acesso em: 08 out. 2023.
HOFFMANN, Mia. The EU AI Act: A Primer, 26 set. 2023. CSET. Disponível em: https://cset.georgetown.edu/article/the-eu-ai-act-a-primer/#:~:text=The. Acesso em: 07 out. 2023.
IBM. AI Fairness 360, [s.d]. Disponível em: https://aif360.res.ibm.com/. Acesso em: 08 out. 2023.
IBM. IBM CEO’s Letter to Congress on Racial Justice Reform, 11 nov. 2020. Disponível em: https://www.ibm.com/policy/facial-recognition-sunset-racial-justice-reforms/#:~:text=Each%20Of%20the%20citizens%20of,race%2C%20color%20or%20creed. Acesso em: 08 out. 2023.
LAVANCHY, Maude. Amazon’s sexist hiring algorithm could still be better than a human, nov. 2018. IMD Business School. Disponível em: https://www.imd.org/research-knowledge/digital/articles/amazons-sexist-hiring-algorithm-could-still-be-better-than-a-human/. Acesso em: 07 out. 2023.
LEWIS, James Andrew; CRUMPLER, William. How Does Facial Recognition Work?, 10 jun. 2021. CSIS. Disponível em: https://www.csis.org/analysis/how--does-facial-recognition-work. Acesso em: 07 out. 2023.
MACOHIN, Aline. Inteligência artificial e a transparência na administração pública brasileira. 2023. Tese (Doutorado em Direito das Relações Sociais) – Ciências Jurídicas, Universidade Federal do Paraná, Curitiba, 2023. Disponível em: https://acervodigital.ufpr.br/xmlui/handle/1884/84997. Acesso em: 08 out. 2023.
MICROSOFT AZURE. Machine learning algorithms, [s.d]. Disponível em: https://azure.microsoft.com/en-us/resources/cloud-computing-dictionary/what--are-machine-learningalgorithms#:~:text=Each%20algorithm%20is%20a%20finite,to%20achieve%20a%20certain%20goal]. Acesso em: 07 out. 2023.
NAJIBI, Alex. Racial Discrimination in Face Recognition Technology, 24 out. 2020. Disponível em: https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face- recognition-technology/. Acesso em: 08 out. 2023.
NATIONAL CYBER SECURITY CENTRE. Biometric recognition and authentication systems, [s.d]. Disponível em: https://www.ncsc.gov.uk/collection/biometrics/face .Acesso em: 07 out. 2023.
NOBLE, Safiya Umoja. Algorithms of Oppression: how search engines reinforce racism. 1ª edição. New York: New York University Press, 2018. 229 p.
O’NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Reprint ed. New York: Crown Publishing Group, 2017. E-book. 277 p.
O PANÓTIPO. Monitor de novas tecnologias na segurança pública do brasil, 07 dez. 2023. Disponível em: https://www.opanoptico.com.br/#regioes .Acesso em: 08 out. 2023.
PASQUALE, Frank. The Black Box Society: the secret algorithms that control money and information. 1ª ed. Cambridge: Harvard University Press, 2015. 311 p.
POSSA, Alisson. O reconhecimento facial como instrumento de reforço do estado de coisas inconstitucionais no brasil. IDP Law Review, [S. l.], v. 1, n. n.2, 2022. Disponível em: https://www.portaldeperiodicos.idp.edu.br/lawreview/article/view/5943. Acesso em: 7 out. 2023.
RATHGEB, Christian et all. Demographic Fairness in Biometric Systems:What do the Experts say? IEEE Technology and Society Magazine, [s.l], v. 41, n. 4, dec. 2022. Disponível em: https://arxiv.org/pdf/2105.14844.pdf. Acesso em: 08 out. 2023.
REIS, Carolina et all. Nota técnica sobre o anteprojeto de lei de proteção de dados para a segurança pública e investigação criminal. Brasília: LAPIN, 2021, 88 p.
SINGAPORE COMPUTER SOCIETY. Simplifying the difference: machine learning vs deep learning, [s.d]. Disponível em: https://www.scs.org.sg/articles/machine-learning-vs-deep-learning. Acesso em: 07 out. 2023.
STANDARDS AUSTRALIA. Biometric systems: How Standards Australia is supporting the growing industry, 11 jul. 2023. Disponível em: https://www.standards.org.au/news/biometric-systems-how-standards-australia-is-supporting-the-growing-industry. Acesso em: 08 out. 2023.
STATISTA. Facial Recognition – Worldwide, [s.d]. Disponível em: https://www.statista.com/outlook/tmo/artificial-intelligence/computer-vision/ facial-recognition/worldwide#:~:text=The%20market%20size%20in%20 the,US%2410.34bn%20by%202030. Acesso em: 08 out. 2023.
UNIÃO EUROPEIA. AI Act: European Parliament ‘Corrigendum’ of 16th April 2024. Parlamento Europeu, 16 abr. 2024. Disponível em: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138-FNL-COR01_PT.pdf. Acesso em: 03 maio 2024.
Downloads
Published
How to Cite
Issue
Section
Categories
License
Copyright (c) 2025 Amanda Louise Negri, Luís Alexandre Carta Winter
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Os autores declaram que qualquer texto apresentado, se aceito, não será publicado em outro meio/lugar, em inglês ou em qualquer outra língua, e inclusive por via eletrônica, salvo mencione expressamente que o trabalho foi originalmente publicado na RRDDIS - Revista Rede de Direito Digital, Intelectual & Sociedade. A Revista RRDDIS desde a sua primeira publicação, licencia todos os textos sob a Licença Creative Commons — Atribuição 4.0 Brasil — CC BY 4.0 BR, que permite o compartilhamento do trabalho com reconhecimento da autoria e da publicação inicial na Revista;
DECLARAÇÃO DE DIREITO AUTORAL Os autores que publicam na Revista RRDDIS concordam com os seguintes termos: – os autores mantêm os direitos autorais e transferem à Revista o direito de primeira publicação, com o trabalho licenciado sob a Licença Creative Commons — Atribuição 4.0 Brasil — CC BY 4.0 BR, que permite o compartilhamento do trabalho com reconhecimento da autoria e da publicação inicial na Revista; – os autores têm autorização para assumir contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicada na Revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento da autoria e da publicação inicial na Revista; – qualquer pessoa é livre para compartilhar (copiar e redistribuir o trabalho em qualquer suporte ou formato) e para adaptar (remixar, transformar e criar a partir do trabalho) para qualquer fim, mesmo que comercial, devendo todavia, em qualquer caso, dar o crédito apropriado, prover um link para a licença e indicar se mudanças foram feitas no trabalho original, nos termos da Licença Creative Commons — Atribuição 4.0 Brasil — CC BY 4.0 BR e respeitados a Lei nº 9.610, de 19 de fevereiro de 1998, e outros normativos vigentes.
