Parte 2 de “O tutor que não hesita”
O modo tutor estava ligado
Encerrei o texto anterior com uma pergunta em aberto. Um tutor configurado para orientar, em vez de entregar respostas, produziria resultado diferente? Eu disse que ninguém sabia, porque quase nenhum professor havia ligado esse modo. Surgiu desde então uma peça nova de evidência, em outro contexto.
Philip Oreopoulos e Nina Low publicaram recentemente um ensaio randomizado por clusters, conduzido ao longo de dois anos em dezoito escolas de anos finais do ensino fundamental no Tennessee, em que estudantes sorteados para a condição de tratamento usaram o Khan Academy com o Khanmigo durante as sessões diárias de recuperação de matemática que aquelas escolas já ofereciam. O tutor estava configurado para orientar, não para entregar respostas.
A atribuição ao Khanmigo elevou o desempenho em matemática em cerca de 0,06 a 0,08 desvio-padrão ao longo de um ano letivo, e os autores estimam 0,14 para um ano de participação ativa. É modesto e os ganhos se parecem com os relatados para a prática no Khan Academy sem IA. Essa semelhança não deve ser lida como empate, porque não veio de um confronto entre alternativas dentro do mesmo experimento, e sim da aproximação entre números produzidos em estudos diferentes.
Ainda assim, temos uma resposta parcial. Ligado, por dois anos, em dezoito escolas, o modo tutor não fez o que se esperava dele.
Não era o valor padrão. Ou melhor: não era só o valor padrão.
O que dois estudos muito diferentes encontraram igual
Os números de uso talvez sejam mais reveladores que os de desempenho. Noventa e seis por cento dos alunos experimentaram o tutor ao menos uma vez, e o aluno mediano enviou mensagens em cerca de um terço dos dias em que praticou. Nas sessões de exercícios em que cometeu um erro, recorreu a ele em 17% das vezes.
No experimento de Maryland, reportado em meu texto anterior, menos de 1% das 3.460 requisições classificadas pediu feedback sobre uma tentativa própria. Brendan Bartanen contestou recentemente a interpretação dos resultados de desempenho daquele estudo, em crítica metodológica que considero em boa parte procedente, embora a classificação das requisições — que é o que uso aqui — não esteja entre os pontos centrais do que ele levanta.
Dois países, dois níveis de ensino, dois desenhos de pesquisa sem relação entre si. Em Tennessee, os alunos recorreram ao tutor em uma parcela pequena das sessões em que erraram; em Maryland, pedidos de comentário sobre a própria tentativa foram raros entre as requisições classificadas. As duas medidas têm denominadores diferentes e não são o mesmo número, o que precisa ficar dito aqui, para que eu não precise repetir a ressalva a cada parágrafo adiante.
Mas apontam para o mesmo lugar. O momento do erro parece ser precisamente aquele em que o estudante não procura ajuda. Pode ser um padrão de conduta. Pode também ser efeito de como cada ferramenta foi implantada, e nenhum dos dois estudos permite decidir. Fico com a primeira leitura, sem poder prová-la, porque ela reaparece em dois lugares que não conversam entre si.
Pedir ajuda sobre o próprio erro é uma competência, e ela tem custo
Aqui a literatura de aprendizagem já tinha uma resposta. Karabenick e Dembo descrevem a busca de ajuda como um processo de oito etapas, relacionado a competências de autorregulação: perceber que há um problema, julgar se a ajuda é necessária, decidir se vai pedi-la, escolher o tipo de ajuda e a quem pedir, formular o pedido, receber a ajuda e processá-la. Nenhuma dessas etapas é automática. Elas não precisam ocorrer nessa ordem, e o estudante não as percebe necessariamente de forma consciente.
Esses autores distinguem a busca instrumental, que procura compreender e ganhar autonomia, da busca expediente, que quer sobretudo concluir a tarefa. E registram o que qualquer professor reconhece: estudantes evitam pedir ajuda por receio de parecer incompetentes, e quem está orientado pela comparação de desempenho pede menos, ou pede do jeito expediente. É uma relação que depende do contexto. Sozinha, ela não explica o que se vê nos estudos de IA.
Agora o paradoxo. Uma máquina deveria ser o interlocutor de menor custo social que já existiu: não reage como um colega, não comenta com a turma, não lembra na semana seguinte. Se o que trava a busca de ajuda é o receio de parecer incompetente, conversar com o modelo de linguagem deveria facilitar a vida de todo mundo.
Mas não o fez. Em Maryland, cerca de 74% das requisições foram classificadas como pedidos de resposta direta.
O custo não era zero, é verdade: as conversas iam para um console docente, ainda que anonimizadas, e os próprios autores levantam que essa visibilidade pode ter influenciado o que os estudantes se dispunham a perguntar. Mas custo reduzido deveria produzir alguma mudança. O que aparece é o comportamento de sempre. Isso me leva a suspeitar que a vergonha nunca foi a única barreira, nem talvez a principal. Perceber o problema, julgar que se precisa de ajuda e formular uma pergunta útil continuam sendo as etapas difíceis, e nenhuma delas é sobre coragem. São sobre saber olhar para a própria tentativa e identificar onde ela falhou.
Isso não se aprende por simples exposição à ferramenta. No relatório Delphi publicado pela Universidade de Minnesota, trinta especialistas avaliaram sessenta e cinco processos de aprendizagem, e entre os sete da categoria de autorregulação e metacognição a busca de ajuda foi o único para o qual houve consenso sobre potencial de aprimoramento por IA generativa. Potencial, e não eficácia comprovada. A única coisa que a máquina poderia melhorar é exatamente a que ninguém está fazendo.
Quarenta e cinco minutos
Bingjie Huang e colegas publicaram no International Journal of STEM Education um ensaio randomizado com 95 estudantes de física de uma universidade em Wuhan, na China. O grupo de tratamento recebeu uma única sessão de treinamento de 45 minutos: dez minutos de introdução sobre IA generativa, quinze de estratégias de conversa organizadas pelas fases da autorregulação e vinte de prática. Depois de responderem individualmente a itens de eletromagnetismo, os dois grupos conversaram com o modelo Doubao e puderam revisar as respostas. O treinamento usou um problema de mecânica como exemplo, e o que se mediu foi a revisão dos itens de eletromagnetismo — não a transferência duradoura de uma habilidade.
A diferença entre os grupos na revisão assistida por IA foi de d = 0,81. Entre as revisões feitas, a proporção que transformou uma resposta errada em certa foi de 69,3% no grupo treinado e 41,3% no controle. E no grupo sem treinamento, 40% das revisões de respostas certas as transformaram em erradas. Portanto, revisar com o modelo sem estratégia alguma piorou o desempenho de quem já estava certo. Catorze por cento dos estudantes treinados passaram a formular perguntas novas, comportamento que não apareceu no controle.
E há um achado que eu destacaria. A experiência prévia com IA se relacionou ao desempenho de modo diferente nos dois grupos, e após o treinamento essa associação ficou bem mais fraca. Quarenta e cinco minutos mexeram em alguma coisa que a exposição à ferramenta, sozinha, não mexe. Isso não demonstra que a vantagem tenha sido redistribuída por origem social, nem que o treinamento produza equidade em outros contextos. Mas indica onde procurar.
O que fazer
A conclusão que eu tiraria dessas evidências é cautelosa, e tem consequência prática. Oferecer um tutor não garante que os estudantes saibam quando e como usá-lo. Estamos adquirindo e desenvolvendo tutores sem formar os estudantes-usuários dos sistemas de tutoria. Segue o que eu faria, nos dois níveis em que a decisão existe.
(i) Ensinar a competência explicitamente, no começo do semestre. Uma atividade de 45 minutos nos três blocos de Huang, que é ainda uma hipótese prática e não uma receita comprovada para qualquer curso. E que não se confunda com oficina de prompt: trata-se de exercícios para reconhecer uma dificuldade, decidir se e que tipo de ajuda pedir, e formular uma pergunta que revele o raciocínio de quem está perguntando.
(ii) Fazer da tentativa própria a unidade da conversa. Que o estudante mostre o que tentou antes de receber explicação. É a medida que eu já havia proposto, e os dois estudos reforçam que ela merece ser testada primeiro, porque é a única que muda o que a interação trata como ponto de partida.
(iii) Instrumentar o momento do erro. Se é ali que muitos estudantes não recorrem ao tutor, é ali que o sistema deve intervir. Não corrigindo, mas convidando: você quer me dizer o que tentou?
(iv) Medir conversa, não apenas acesso. Os dois estudos só foram informativos porque observaram padrões de uso e de interação, e não apenas disponibilidade. Um piloto que reporta adoção e satisfação não permite entender nada do que os estudantes fazem com o tutor. Peça a análise das interações com categorias e denominadores explícitos; é barata de produzir e é onde está a informação.
(v) Tratar o treino como política de equidade, e avaliá-lo como tal. Huang e colegas encontraram que o treinamento atenuou a relação entre experiência prévia com IA e desempenho naquela tarefa, o que é promissor e ainda não está demonstrado para outros grupos, outras disciplinas ou outros níveis de ensino. Isso é razão para experimentar e avaliar, não para adiar decisões.
(vi) Parar de comparar com nada. A pergunta institucional é se a ferramenta funciona melhor do que aquilo que ela substitui, e esse comparador quase nunca entra no desenho dos pilotos. No caso do Khanmigo, a semelhança com a prática sem IA não veio de confronto direto — e é justamente por isso que o confronto precisa ser desenhado.
O que eu ainda não sei
Não sei se os 45 minutos de Huang sobrevivem a um semestre. O estudo mediu uma única tarefa de revisão, no mesmo dia e com os mesmos itens de eletromagnetismo no pré e no pós, enquanto o grupo de controle recebeu orientação sobre resolução de problemas e nenhuma sobre uso de IA — de modo que parte da diferença pode refletir familiaridade com os itens, ou estratégias acionadas apenas naquela situação. Não houve medida de retenção.
Também não sei se o que se ensina ali é transferível para fora da física, ou se cada campo precisa do seu próprio treino — o que mudaria completamente o custo da medida (i).
E há uma possibilidade que me incomoda mais que as duas anteriores: talvez pedir feedback sobre a própria tentativa não dependa apenas de uma competência que faltou ensinar, mas também das consequências percebidas do erro. No Tennessee, a sessão de recuperação não valia nota. Em Maryland, as conversas iam para um console docente, ainda que anonimizadas. Em nenhum dos dois casos o estudante tinha muito a ganhar expondo o que não sabia — e nenhum dos dois estudos mediu a disposição de expor, que é precisamente a variável de que tudo isso depende.
Se for isso, nenhum treino resolve. O que precisa mudar é a tarefa.
Referências
Bartanen, B. (2026, 15 de outubro). AI tutoring lowers student performance and engagement. Or does it? Education professor FAFOs with AI.
Huang, B.; Xie, L.; Liu, Y.; Liu, X.; Tang, H.; Feng, X.; Qiao, C.; Guo, Q.; Wu, C.; Bao, L. (2026). From answer machine to collaborative partner: impact of structured generative AI training on scientific problem solving in STEM education. International Journal of STEM Education, 13(1), art. 62. doi.org/10.1186/s40594-026-00652-9
Karabenick, S. A.; Dembo, M. H. (2011). Understanding and facilitating self-regulated help seeking. New Directions for Teaching and Learning, 126, 33–43. doi.org/10.1002/tl.442
Kendeou, P.; Greene, J. A.; Nixon, N. et al. (2026). Expert consensus report: Ways generative AI can support and threaten learning in K-20 U.S. education. College of Education and Human Development, University of Minnesota.
Liu, J. et al. (2026). The Effects of Course-Integrated AI Tutoring on Student Performance and Engagement: A Randomized University Trial. EdWorkingPaper 26-1598. doi.org/10.26300/y3f8-vh05
Oreopoulos, P.; Low, N. (2026). One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment. EdWorkingPaper 26-1551. doi.org/10.26300/kner-hv33
Para seguir a conversa
Os temas e formatos de palestra estão em Palestras. Convites e propostas passam por Kilza, minha agente: kilza@squared.ventures · WhatsApp.