RACISM AND ALGORITHMIC BIAS IN ARTIFICIAL INTELLIGENCE: IMPLICATIONS FOR HIGHER EDUCATION
Abstract
This work is an excerpt from the master's thesis entitled "Higher Education in the Age of Artificial Intelligence: A look from the stricto sensu research developed between 2000 and 2024", defended in the Postgraduate Program in Education at the Federal University of Tocantins. This study analyzes algorithmic bias and algorithmic racism in higher education, based on Brazilian academic research on Artificial Intelligence developed between 2000 and 2024. It is a qualitative and exploratory study grounded in the state of knowledge method. The corpus consisted of dissertations and theses retrieved from the CAPES database and organized into thematic categories. The results show a predominance of studies focused on the instrumental application of AI, especially in learning personalization and process automation, while critical approaches remain limited. Evidence of algorithmic bias was identified in predictive systems, automated assessment, and the use of historical data, which may reinforce educational inequalities. The study concludes that Artificial Intelligence should be understood as a sociotechnical phenomenon, requiring further research that critically examines its impacts on higher education. This perspective is justified by the fact that AI does not operate in a vacuum of neutrality, but replicates and amplifies historical oppressions and structural biases, making the identification of algorithmic racism an indispensable step to avoid the exclusion of minority groups in academic environments.
References
ALONSO, Katia Morosov; DELGADO, Heloísa O. K. As tecnologias da informação e comunicação na educação superior. Educação & Sociedade, v. 31, n. 112, 2010.
ALVES, A. F. et al. Aspectos relevantes dos modelos preditivos de inteligência artificial no combate à evasão escolar em cursos de graduação: uma revisão sistemática. Congresso Brasileiro de Informática na Educação, 2024.
ANDRADE, T. L. Metodologias ativas integradas a um sistema de recomendação com suporte à mineração de dados educacionais e learning analytics para a mitigação de evasão da educação a distância. 2023. Tese, Doutorado em Computação Aplicada, Universidade do Vale do Rio dos Sinos, São Leopoldo, 2023.
AOUN, Joseph E. Robot proof: higher education in the age of artificial intelligence. Cambridge: MIT Press, 2017.
AZAMBUJA, C. C. de; FERREIRA DA SILVA, G. Novos desafios para a educação na era da inteligência artificial. Filosofia Unisinos, v. 25, n. 1, 2024.
BACICH, Lilian; MORAN, José Manuel. Metodologias ativas para uma educação inovadora. Porto Alegre: Penso, 2018.
BACICH, Lilian; TANZI NETO, Adolfo; TREVISANI, Fernando de Mello. Ensino híbrido: personalização e tecnologia na educação. Porto Alegre: Penso, 2015.
BAKER, Ryan S.; HAWN, Aaron. Algorithmic bias in education. International Journal of Artificial Intelligence in Education, v. 32, n. 4, 2022.
BARDIN, Laurence. Análise de conteúdo. São Paulo: Edições 70, 2016.
BENJAMIN, Ruha. Race after technology: abolitionist tools for the new Jim code. Cambridge: Polity Press, 2019.
BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, v. 81, 2018.
COULDRY, Nick; MEJIAS, Ulises A. The costs of connection: how data is colonizing human life and appropriating it for capitalism. Stanford: Stanford University Press, 2019.
FARIAS, Paulo César Duarte. Ensino Superior na Era da Inteligência Artificial: um olhar a partir das pesquisas stricto sensu desenvolvidas no período de 2000 a 2024. – Palmas, TO. 114f. Dissertação (Mestrado Acadêmico) – Universidade Federal do Tocantins – Curso de Pós-graduação (Mestrado) em Educação. 2025.
FERNANDES, Allysson Barbosa et al. A ética no uso da inteligência artificial na educação: implicações para professores e estudantes. Revista Ibero-Americana de Humanidades, Ciências e Educação, v. 10, n. 3, 2024.
FERREIRA, Norma Sandra de Almeida. As pesquisas denominadas estado da arte. Educação & Sociedade, v. 23, n. 79, 2002.
FREIRE, Paulo. Pedagogia da autonomia. São Paulo: Paz e Terra, 1996.
GIL, Antonio Carlos. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 2017.
HEGGLER, João Marcos; SZMOSKI, Romeu Miqueias; MIQUELIN, Awdry Feisser. As dualidades entre o uso da inteligência artificial na educação e os riscos de vieses algorítmicos. Educação & Sociedade, v. 46, 2025.
HOLMES, Wayne; BIALIK, Maya; FADEL, Charles. Artificial intelligence in education: promises and implications for teaching and learning. Boston: Center for Curriculum Redesign, 2019.
MEIRA, A. A. M. de. Uso da inteligência artificial para predição da conclusão do ensino superior por alunos com deficiência. Dissertação, Mestrado em Estudos da Ocupação, Universidade Federal de Minas Gerais, Belo Horizonte, 2023.
MOURA, A. F. de. Mineração de dados educacionais para apoio à gestão acadêmica na formulação de prognóstico de perfil de aluno ingressante em cursos superiores. Dissertação, Mestrado em Informática e Gestão do Conhecimento, Universidade Nove de Julho, São Paulo, 2023.
NOBLE, Safiya Umoja. Algorithms of oppression: how search engines reinforce racism. New York: New York University Press, 2018.
O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. New York: Crown, 2016.
ROMANOWSKI, Joana Paulin; ENS, Romilda Teodora. As pesquisas denominadas do tipo estado da arte. Revista Diálogo Educacional, v. 6, n. 19, 2006.
SILVA, M. A. R. da. O diário de aprendizagem digital assistido por inteligência artificial como ferramenta de apoio à autorregulação da aprendizagem. Tese, Doutorado em Educação, Universidade Estadual de Londrina, Londrina, 2023.
SOUZA, J. A. Análise da evasão no ensino superior: conjugação de análise de sobrevivência e fatores de impacto no curso de sistemas de informação do IFES campus Serra. Dissertação, Mestrado em Computação Aplicada, Instituto Federal do Espírito Santo, Serra, 2023.
VENTURA, Disakala. Tecnologias digitais, racismo algorítmico e literacia decolonial: desafios para uma cidadania crítica e inclusiva. Braga: Universidade do Minho, 2023.
WILLIAMSON, Ben. Education data science: critical perspectives on educational data and artificial intelligence. London: Routledge, 2024.
Copyright Notice
The submission of originals to this periodic implies in transference, by the authors, of the printed and digital copyrights/publishing rights. The copyrights for the published papers belong to the author, and the periodical owns the rights on its first publication. The authors will only be able to use the same results in other publications by a clear indication of this periodical as the one of its original publication. Due to our open access policy, it is allowed the free use of papers in the educational, scientific and non-commercial application, since the source is quoted (please, check the Creative Commons License on the footer area of this page).
