Semana passada falei sobre geração de imagens com IA – e trouxe um pouco de polêmica ao assunto. E essa semana eu volto com mais um tema polêmico: vieses na IA. Que a IA não é neutra, acho que todos já sabemos, né? Mas hoje eu quero destrinchar um pouco mais o que é o viés na IA – e que tipos de vieses podem existir na IA.

A tecnologia como amplificador, não como causa

O aprendizado viciado: por que a IA erra?

Essa reprodução algorítmica se manifesta em três pontos críticos para a educação:

1. Limitações em termos de diversidade: Se um sistema de IA usado para personalizar o aprendizado foi treinado majoritariamente com dados de alunos de um determinado perfil socioeconômico, ele pode falhar drasticamente ao atender às necessidades de alunos de outros contextos, simplesmente porque não aprendeu sobre eles.
2. Vieses implícitos dos criadores: Quem está programando esses sistemas? Muitas vezes, equipes homogêneas que, mesmo sem má-fé, inserem suas próprias perspectivas limitadas e inconscientes no código.
3. Vieses implícitos dos usuários: Como educadores, se usamos uma ferramenta de IA sem consciência crítica, podemos involuntariamente reforçar um viés. Por exemplo, aceitar cegamente as sugestões de um sistema que só recomenda carreiras STEM para meninos e carreiras de humanas para meninas, com base em padrões históricos enviesados.

Viés na sociedade vs. viés na IA: o espelho distorcido

É importante distinguir o que é viés na sociedade e o que se torna viés na IA. O viés social é o preconceito humano, a desigualdade estrutural que existe fora do código. Por exemplo, a disparidade salarial por gênero. O viés na IA é a codificação, a escala e a perpetuação desse viés social. Quando um sistema de IA de RH aprende com dados salariais históricos e, como resultado, sugere salários mais baixos para candidatas mulheres, ele não apenas reflete a desigualdade, ele a automatiza e a torna invisível. Na sala de aula, isso pode ser encontrado em:

• um algoritmo de avaliação de escrita pode dar notas menores para textos que usam a variação linguística de minorias, favorecendo a variação padrão de grupos historicamente privilegiados.
• sistemas de recomendação de carreiras ou de conteúdo podem reforçar estereótipos de gênero e raça ao sugerir caminhos limitados para determinados grupos de alunos.

Vieses esperados

Quando falamos em desigualdade, a gente pensa normalmente nas grandes lutas: a luta contra o racismo, o machismo, a exclusão social. Estes são os vieses mais visíveis, as feridas abertas da nossa sociedade. A IA não os inventa; ela, simplesmente, os herda de nós.

Estes são os vieses que chamamos de esperados ou diretos, pois refletem as grandes fraturas sociais que já conhecemos. No contexto da IA, eles se manifestam quando os dados de treinamento (que são um espelho do nosso passado desigual) ensinam o algoritmo a reproduzir ou até mesmo a exacerbar preconceitos já existentes. Conhecê-los é o ponto de partida para um olhar crítico.

O mais evidente é o viés de gênero, que se manifesta em sistemas que favorecem ou penalizam um gênero específico em avaliações de escrita, sugestões de carreira ou até mesmo em atribuições de liderança simuladas por softwares. Também temos o viés de raça/etnia, onde algoritmos de reconhecimento facial falham mais ao identificar pessoas de pele escura ou onde sistemas de avaliação de risco podem penalizar, de forma injusta, comunidades minoritárias. Além disso, o viés socioeconômico e geográfico é uma barreira silenciosa: quando a IA é treinada majoritariamente com informações de escolas de alta renda ou grandes centros urbanos, ela pode se tornar ineficaz (ou até prejudicial) ao tentar atender às necessidades de alunos de contextos de baixa renda ou de áreas rurais. Por fim, o viés político e ideológico também merece nossa atenção. Ele ocorre quando algoritmos filtram ou priorizam informações de uma determinada inclinação ideológica, sutilmente moldando a visão de mundo e a formação crítica dos nossos estudantes. Em todos esses casos, a IA atua como um replicador em massa da iniquidade que deveria ajudar a combater.

Vieses Inesperados

Vieses Inesperados Estes são mais difíceis de identificar e costumam estar ligados à forma como os dados são coletados e como os modelos são construídos. Eles são mais difíceis de rastrear, pois não nascem de uma intenção óbvia de discriminar, mas sim das limitações, hábitos e vícios do processo de coleta de dados e do design algorítmico.

Um dos mais traiçoeiros é o viés de amostra (ou de seleção). Ele acontece quando a base de dados usada para treinar o modelo de IA é incompleta. Pense em um sistema de diagnóstico médico treinado apenas com imagens de pele clara; ao ser aplicado a pacientes de pele escura, ele simplesmente falha, resultando em diagnósticos errados e desigualdade no acesso à saúde. Da mesma forma, na educação, um sistema de tutoria treinado apenas com dados de alunos mais jovens falhará ao interagir com o Ensino Médio, pois a amostra utilizada não representa a diversidade de perfis que o usará.

Junto a ele, temos o intrigante viés de sobrevivência. Neste caso, a IA aprende apenas com os vencedores, aqueles que completaram o processo ou tiveram sucesso. Um modelo de empréstimo financeiro treinado só com dados de quem pagou suas dívidas no passado pode se tornar excessivamente restritivo, excluindo pessoas com históricos atípicos, mas viáveis. Na escola, se um algoritmo de predição de sucesso acadêmico só vê os dados dos alunos que se formaram, ele ignora os fatores que ajudaram a reter (ou que falharam em reter) aqueles que estavam à beira da evasão, enviesando a intervenção pedagógica.

A IA também é mestre em nos colocar em bolhas. O viés de confirmação algorítmica faz com que, para ser mais eficiente, o sistema priorize as informações que reforçam o que ele já aprendeu. Em plataformas de mídias sociais, isso isola o usuário, dificultando o acesso a perspectivas contraditórias. Para o aluno, um recomendador de leitura que só sugere o gênero preferido limita seu universo de conhecimento, impedindo a exploração e a construção de um repertório diversificado.

Outras manifestações sutis incluem o viés de recência ou de atualidade, que valoriza excessivamente dados novos, podendo ignorar a relevância de obras clássicas e fundamentais do passado ao curar conteúdo para História. E, por fim, o viés de linguagem, que se manifesta de várias formas. Dentro do mesmo idioma, pode favorecer o dialeto de um grupo dominante. Pense em um corretor automático que penaliza a escrita de alunos que usam variações do português falado em diferentes regiões do país. Mas o viés de linguagem se estende, principalmente, a falantes não nativos de inglês. Como a maioria dos modelos de IA é treinada com um volume massivo de dados em inglês (muitas vezes, o inglês americano padrão), eles podem ter dificuldades ou penalizar textos de falantes de outras línguas que utilizam estruturas frasais, expressões ou vocabulário que não se encaixam no padrão anglófono, criando uma barreira invisível para a comunicação global e para a avaliação justa de trabalhos acadêmicos internacionais.

Como vemos, os vieses inesperados nos mostram que a IA não só reflete os problemas de quem usa a tecnologia, mas também as falhas de como a tecnologia é construída. E é essa a consciência que precisamos levar para a sala de aula.

O papel do educador consciente

O papel do educador consciente A discussão sobre vieses não deve ser um motivo para rejeitarmos a IA, mas sim um chamado à responsabilidade e análise crítica.

A tecnologia não vai resolver nossos problemas éticos e sociais; ela os coloca em evidência. E o nosso papel como educadores é ir além do como usar a ferramenta e mergulhar no como questionar a ferramenta. Precisamos desenvolver nossa própria literacia algorítmica e a dos nossos alunos.

A IA é um amplificador poderoso. Cabe a nós, educadores, garantir que ela amplifique a equidade, e não a desigualdade.

Já conhecia todos esses tipos de vieses? O que te surpreendeu? Me conta aqui nos comentários!