Se você assina minha newsletter, sabe que na semana retrasada eu tive duas experiências com o Modo IA do Google que, juntas, resumem um problema que eu venho sentindo há um tempo: muitas vezes a gente troca “vou pesquisar e comparar fontes” por “vou perguntar e confiar”. E o Modo IA, goste a gente ou não, virou a porta de entrada padrão pra quase tudo que buscamos.

Só que ele, como qualquer outra IA generativa, erra. E erra com uma confiança enorme, o que é, na minha opinião, a parte mais perigosa de tudo isso.

Erro nº 1: a remada viking que com certeza era real

Voltando da eliminação da Noruega na Copa do Mundo, viralizou um vídeo de torcedores noruegueses fazendo a brincadeira da remada viking sentados na esteira de bagagens de um aeroporto americano. Engraçado, bizarro, daquele tipo de vídeo que a gente vê e pensa: “isso é real ou é IA?”

Perguntei pro Modo IA. E ele foi categórico: não é gerado por inteligência artificial, trata-se de um registro real, com direito a detalhes do evento bem contados, fontes do Facebook e do Instagram, tudo muito bem amarrado (dá pra ver no print aqui embaixo). Eu que não sou boba nem nada, já tinha feito minha investigação e o vídeo da remada por criado por este perfil aqui, que claramente afirma ser um perfil de criação com IA. E no post da remada, está taggeada a informação de criação com IA.

O problema é que essa segurança toda não correspondia à realidade. O Modo IA não estava dizendo “algumas fontes indicam que…” Ele estava afirmando um fato, com a mesma confiança que usaria pra me dizer a capital da França. E é exatamente esse o ponto: o Modo IA não distingue, na forma como apresenta a resposta, entre o que está confirmado e o que é só a fonte mais barulhenta daquele momento. Pra quem pergunta, os dois chegam com a mesma cara de verdade.

Erro nº 2: o teatro errado, com endereço e tudo

O segundo erro foi mais banal, mas não menos revelador. Eu queria saber quais são os melhores lugares para assistir a um espetáculo no Teatro Cidade das Artes, aqui no Rio. Busquei no Google e, claro, a primeira coisa que aparece é a resposta do Modo IA.

A resposta veio recheada de links, dicas de setor, sugestões de fileira… para outros teatros. Nenhuma fonte, nenhum link, nenhuma informação ali era, de fato, sobre a Cidade das Artes. E de novo: a resposta não veio com cara de “não tenho certeza”. Veio pronta, formatada, com links e tudo, como se tivesse sido checada a dedo. Mas era só checar os links para ver que nada ali era sobre o local que eu pesquisei.

Duas buscas banais, do tipo que qualquer pessoa faz várias vezes por semana. Duas respostas erradas, entregues com a mesma confiança de sempre.

E aí vem o estudo que dá nome ao que eu senti

Bem na semana em que isso aconteceu comigo, o Youth AI Safety Institute, da Common Sense Media, publicou um relatório avaliando justamente o AI Overview e o Modo IA do Google Search. E o resultado foi o pior possível dentro da escala deles: risco “inaceitável” para crianças e adolescentes.

Os pesquisadores fizeram mais de 2.600 buscas usando contas configuradas com o SafeSearch, simulando usuários de 11 e 15 anos. Alguns achados me deixaram de cabelo em pé:

• As respostas de IA não detectam de forma confiável sinais de crianças em risco: passaram batido por sinais claros de ideação suicida (e em alguns casos, responderam de um jeito que piorava a situação), reforçaram delírios e paranoia, e validaram comportamentos de transtorno alimentar.
• O Modo IA fez o dever de casa por completo, sempre que testado, sem nenhuma resistência.
• As ferramentas trataram posts de fórum e redes sociais como se tivessem o mesmo peso de uma fonte médica confiável.
• E talvez o mais grave de tudo: não dá pra desligar. Diferente do Gemini, que pode ser desativado, o AI Overview e o Modo IA vêm ligados por padrão na busca do Google, e pais e escolas não têm como tirar isso de lá sem bloq

uear a busca inteira.

Se você quiser saber mais, o relatório completo está disponível no site do Youth AI Safety Institute.

Por que isso me interessa tanto

Eu sou uma professora adulta, com letramento em IA, que sabe (ou pelo menos tenta saber) quando desconfiar de uma resposta. Agora imagina um aluno de 11 anos perguntando qualquer coisa no Google, do jeito que ele sempre perguntou, sem saber que aquela caixinha de resposta ali em cima não é mais uma busca, é uma IA generativa decidindo o que é verdade por ele. Imagina uma pessoa mais velha ou até mesmo um adulto que não entende o que é o Modo IA.

Esse é exatamente o ponto que eu insisto tanto por aqui quando falo em educar COM, SOBRE e PARA a IA: usar a ferramenta (o COM) sem entender como ela falha (o SOBRE) é abrir mão do único filtro que realmente protege alguém, que é o pensamento crítico. E no caso do Google, o problema é ainda mais delicado porque ninguém escolheu usar essa IA. Ela simplesmente apareceu ali, embutida na busca que todo mundo já usava há vinte anos, sem aviso, sem opção de desligar, sem que o aluno (ou o professor, ou o pai) tenha consentido com nada.

Eu já falei aqui no blog sobre a diferença entre usar a IA como exoesqueleto e usar como piloto automático. O Modo IA, do jeito que está hoje, empurra a gente pro piloto automático mesmo quando a gente não pediu: ele responde antes que você pergunte se devia confiar.

O que dá pra fazer, na prática

É claro que não vamos parar de usar o Google (seria inútil sugerir isso). Mas precisamos trazer de volta o hábito de desconfiar, tanto pra gente quanto pros nossos alunos:

• Trate a resposta do Modo IA como um ponto de partida, nunca como resposta final. Se algo importa de verdade (uma informação de saúde, um evento noticioso, um dado histórico), vá até a fonte original antes de repetir.
• Ensine explicitamente que confiança na resposta não é o mesmo que precisão. Essa é, pra mim, a lição mais urgente de tudo isso: o tom de certeza da IA não tem nenhuma relação com o quanto aquilo é, de fato, verdade.
• Se você é responsável por crianças e adolescentes (como pai, mãe ou educador), vale a pena revisar as configurações de conta e conversar abertamente sobre o que essas ferramentas conseguem, e não conseguem, fazer bem.

E você, já pegou o Modo IA (ou o AI Overview) te dando uma resposta errada com aquela cara de “com certeza absoluta”? Me conta aqui nos comentários, eu quero saber se eu fui a única, rs.