A Universidade de Maryland desenvolveu um tutor de IA, conectou a uma plataforma que já utilizava e aos materiais de cada disciplina, e o ofereceu a 2.379 de seus estudantes de graduação e 30 docentes, com a promessa comum a todo piloto institucional: dar a cada um deles o acompanhamento individual que nenhuma universidade consegue pagar. A ferramenta tinha dois modos: o modo tutor conduz o estudante por etapas até que ele chegue à resposta; o outro simplesmente entrega a resposta. Este último era a configuração original do sistema, que parece não ter sido alterada pela maioria dos docentes durante o semestre.
O resultado saiu em outubro como ensaio controlado randomizado, com a própria reitora entre os autores, e foi divulgado em matéria da Inside Higher Ed. Entre seções da mesma disciplina, o acesso ao assistente esteve associado a uma nota final 0,37 desvio-padrão menor e a uma participação no ambiente virtual 0,90 desvio-padrão menor. Quinze por cento dos estudantes com acesso chegaram a usar a ferramenta ao menos uma vez no semestre, com média de quatro sessões entre os que usaram. Das 3.460 requisições classificadas, 73,8% pediram resposta direta (informação, explicação ou solução pronta), 11,3% pediram prática e preparação para prova, e menos de uma em cada cem pediu comentário sobre uma tentativa que o próprio estudante tivesse feito.
O estudo estima o efeito de disponibilizar a ferramenta nas condições reais de um piloto, com uso voluntário e outros sistemas de IA à mão. Não mostra que cada estudante que abriu o tutor aprendeu menos. Na amostra completa, o efeito sobre a nota é menor e significante apenas a 10%, e os próprios autores dizem que ali não há evidência de dano. São trinta e quatro agrupamentos, o que torna os erros-padrão provavelmente otimistas. E a classificação das requisições saiu de um classificador automático cuja categoria de pedido de devolutiva tinha oito exemplos rotulados por humanos, de modo que aquele “menos de uma em cem” é confiável na ordem de grandeza e não na casa decimal.
A imprensa especializada chamou os efeitos de marginais. Para o conjunto da amostra, a prudência se justifica. Para a comparação entre seções da mesma disciplina, não. Convém sustentar as duas coisas ao mesmo tempo: o sinal é preocupante, e a evidência ainda não autoriza sentença geral sobre tutores de IA.
Dito isso, o desenho responde a uma pergunta que vinha sendo analisada apenas por entusiasmo. A resposta não agrada nenhum dos dois lados.
Por que não funcionou
Há três explicações disponíveis. Eu as ponho nesta ordem:
(a) A forma da interação. Em 2011, Kurt VanLehn revisou a literatura comparada e encontrou tutoria humana com tamanho de efeito de 0,79, sistemas tutores inteligentes baseados em passos com 0,76, e sistemas baseados em respostas com 0,31. O número que todo mundo cita, os dois desvios-padrão de Bloom, não se sustentou. O que se observou foi um platô: assim que a interação vai da resposta simples para o passo-a-passo o ganho aparece, e depois estabiliza, de modo que tutor humano e sistema baseado em passos não diferem de forma consistente nas comparações disponíveis.
Esses valores descrevem sistemas de outra geração. Não são previsão para modelos de linguagem, e não estou dizendo que a ferramenta de Maryland equivale ao 0,31 acima. Mas, a distinção que organiza aquela literatura inteira — acompanhar passos do raciocínio não é a mesma coisa que entregar respostas completas — continua de pé, e a instituição instalou como padrão, por omissão de configuração, o lado dessa distinção que a evidência anterior já tratava como o mais fraco.
(b) A substituição, que é hipótese e não achado. A queda de 0,90 desvio-padrão na participação é maior que a queda na nota. É o dado mais intrigante do estudo, e é compatível com a ideia de que os estudantes não acrescentaram um tutor à disciplina, e sim trocaram a disciplina pelo tutor. Mas compatível não é demonstrado. A queda também admite leitura por desalinhamento entre assistente e curso, por distração, por concorrência com ferramentas externas às quais todos tinham acesso, por receio de que as conversas fossem lidas pelo docente, ou por combinação disso tudo. Separar essas explicações exigiria observar quais atividades deixaram de ser feitas. Fica a pergunta que nenhum piloto costuma fazer: não quem usou, mas o que mudou na rotina de estudo quando a ferramenta ficou disponível.
(c) O modelo que estamos simulando nunca existiu. Esta é a mais desconfortável. Quando se pede que IA se comporte como tutor socrático, supõe-se que exista uma prática humana bem descrita a ser imitada. Não existe nada disso. Graesser e Person observaram tutoria humana espontânea e encontraram tutores que não usam método socrático, não modelam, não dão andaimes com retirada gradual, não diagnosticam erro conceitual e não aplicam técnica motivacional sofisticada — quase todas as estratégias que a literatura chama de ideais são, nas palavras deles, virtualmente inexistentes nas sessões reais analisadas. O que os tutores normalmente fazem é um ciclo de passos que se encerra ao perguntar se o aluno entendeu. E o aluno diz que sim.
Pedimos então a modelos de linguagem que reproduzam uma prática que o tutor humano médio também não executa, e nos decepcionamos quando falham em imitar uma ficção. A comparação nunca foi com o tutor real.
O que a tutoria humana realmente faz
Se a tutoria humana funciona com 0,79 e não com 2,0, e se o tutor médio não é socrático nem diagnostica erro conceitual, resta perguntar de onde vem aquilo que de fato funciona quando alguém senta ao lado de um estudante.
Chi e colegas fizeram essa pergunta em 2001, de frente. No primeiro estudo, tutores dominaram o diálogo e a maior parte de suas falas não elicitava nada; o que correlacionou com aprendizagem foram as respostas dos estudantes a andaimes e a convites de reflexão, ao passo que as explicações do tutor correlacionaram apenas com aprendizagem superficial. No segundo, restringiram a atuação dos tutores para privilegiar perguntas e elicitação. Os estudantes aprenderam tanto quanto antes.
Vale demorar nisso. Vale também não exagerar: foram onze tutores e onze alunos do oitavo ano, sobre sistema circulatório, e o estudo não demonstra que explicação e devolutiva sejam inúteis em qualquer disciplina ou população. Mostra algo mais específico, e mais incômodo para quem desenha software. Retirar do tutor exatamente as duas coisas que modelos de linguagem fazem melhor, mais rápido e mais barato do que qualquer humano disponível não custou aprendizagem nenhuma. O que entra na conta é o que o estudante faz com a explicação. Recuperar, relacionar, testar, justificar.
O valor pedagógico da espera
Há um achado mais antigo, e mais estranho. É onde eu colocaria o peso do argumento. Mary Budd Rowe mediu, nos anos 1970 e de novo em 1986, o intervalo entre a pergunta do professor e sua intervenção seguinte. O valor observado foi de cerca de nove décimos de segundo. Quando o intervalo passa de aproximadamente dois segundos e sete décimos, as respostas dos estudantes aumentam entre trezentos e setecentos por cento em extensão, aparecem inferências sustentadas por evidência, cai o número de “não sei”, e estudantes considerados fracos passam a participar por conta própria.
O achado mais robusto sobre diálogo pedagógico é sobre silêncio.
Modelos de linguagem não produzem esse silêncio, e não por limitação de engenharia. A arquitetura responde sempre, de imediato, com completude máxima, e o tempo de inferência não é hesitação porque não guarda relação alguma com a dificuldade do interlocutor. A hesitação humana carrega informação. O tutor que para antes de responder está sinalizando que a pergunta é difícil, que a resposta é disputada, ou simplesmente que espera que você tente primeiro, e é por ser involuntária que essa pausa se deixa ler.
Mas não concluo daí que a interface deva imitar a pausa. A espera da sala de aula é prática situada: o estudante vê o professor, lê a dinâmica do grupo e interpreta o silêncio como convite. Numa tela, demora sem explicação é lida como defeito. Se a pausa não pode ser encenada, a informação que ela carregaria precisa ser dita.
Sobre empatia, construto recorrente em análises de tutoria por IA, convém inverter a suposição comum. Em 2023, avaliadores cegos compararam respostas de médicos e de ChatGPT a 195 perguntas de pacientes num fórum público, e o modelo foi preferido em 78,6% das avaliações e classificado como empático ou muito empático em 45,1% dos casos, contra 4,6% dos médicos. Os próprios autores levantam que a extensão maior das respostas do modelo pode ter sido lida, erroneamente, como empatia. E o que o estudo mede é a percepção de um texto, não a experiência de empatia, nem qualidade clínica, nem eficácia pedagógica.
O que medimos como empatia em texto é, em boa parte, disponibilidade e extensão, características abundantes em modelos de linguagem. Estes sistemas são excelentes naquilo que supomos que não conseguem fazer, que é a expressão de acolhimento, e são ruins naquilo que supomos fácil: sustentar a pergunta, recusar a explicação, e deixar o erro correr tempo suficiente para que ele informe alguma coisa a quem o cometeu. O problema não é falta de empatia. É excesso de complacência.
Da resposta pronta à produção do estudante
O que circula hoje como tutor socrático é quase sempre resultado da mesma instrução: não dê a resposta, faça perguntas. Isso produz interrogatório. Estudantes abandonam interrogatórios, e abandonam rápido. Um bom tutor não apenas pergunta — escolhe quando explicar, quando pedir uma tentativa, quando dar uma pista e quando retirar o apoio.
Proponho cinco variações, todas desenhadas para deslocar aquilo que a interação trata como unidade de trabalho, da pergunta do sistema para a produção do estudante.
(a) Incerteza declarada, no lugar de hesitação encenada. Havendo interpretações concorrentes ou informação insuficiente, o sistema diz o que falta e por que isso importa: “esta pergunta tem três respostas aceitáveis, e a escolha entre elas depende de algo que você ainda não me disse”.
(b) Tentativa antes da solução, quando a tarefa permitir. Uma hipótese, um cálculo, um esboço. Em Maryland, menos de uma requisição em cada cem trouxe tentativa própria, e convém notar que a interação também não pedia nenhuma. A exigência tem de ser proporcional: numa consulta factual, num prazo apertado, ou para quem ainda não tem apoio inicial nenhum, a resposta direta é a melhor opção.
(c) Devolutiva sobre o raciocínio, não sobre o resultado. Dizer que está errado raramente ajuda sozinho. Dizer que o estudante está tratando um caso particular como se fosse geral aponta uma decisão que merece revisão e oferece um próximo passo, sem fazer o trabalho por ele.
(d) Erro com tempo de vida. Deixar o erro correr até produzir consequência visível, em vez de corrigi-lo no instante em que aparece. Isso exige uma tarefa desenhada para que o erro se mostre sozinho, o que é trabalho de design instrucional sobre a atividade e não de prompt.
(e) Retirada com critério visível. Começar por exemplos e pistas, depois pedir passos mais independentes, por fim propor transferência para situações gerais. O estudante precisa entender por que a ajuda diminui, e poder pedi-la de volta. Praticamente nenhum sistema em uso hoje faz isso, e a razão me parece comercial antes de técnica: engajamento é a métrica pela qual essas ferramentas são vendidas, e retirar ajuda reduz engajamento.
Estas proposições são hipóteses de desenho, sem a pretensão de protocolo validado. E o que falta a todas elas é o mesmo que falta ao campo, isto é, ensaios que comparem modos de interação com alocação clara, meçam retenção para além do desempenho imediato e publiquem também o resultado nulo, que é justamente o que quase ninguém publica.
O que Olesen propõe, e onde ele para
Martin Bakkegaard Olesen propôs em maio um Cognitive Resistance Method, com cinco mecanismos — incompletude estratégica, ambiguidade produtiva, contrapressão estrutural, resolução adiada e recursão reflexiva — e seis modos de interação que o usuário seleciona, do normal ao adversarial. A referência a Bjork e Bjork é correta: as condições que produzem melhor desempenho imediato não são, em geral, as mesmas que produzem retenção durável e transferência, e essa dissociação é conhecida há décadas.
Duas observações cabem aqui, e uma delas é séria. A primeira é que o estudo de Chi, de 2001, dá suporte empírico a quase todos os cinco mecanismos vinte e cinco anos antes, e com resultado mais forte do que a proposta reivindica. Olesen oferece hipótese de projeto, não método validado. O mesmo vale para o que proponho acima.
A segunda é que os cinco mecanismos descrevem o que a máquina faz com a própria saída. Nenhum deles descreve o que o estudante produz. Modular ambiguidade, adiar síntese e contrapor estruturas são todas operações sobre o texto do sistema, de maneira que um estudante pode atravessar as seis modalidades inteiras, da normal à adversarial, e permanecer na posição de leitor. A fricção fica na entrega, não na atividade em si. É por isso que proponho (b) e (c) como condição, e não como mais um modo entre os seis.
A decisão escondida no padrão
Resta o que Maryland deixou à vista, e que nenhuma variação de interação resolve. A escolha entre os modos ficou com o docente. O docente não escolheu. Não por desleixo: a escolha chegou como configuração de software numa tela de opções, sem que ninguém tivesse dito a ele que naquele seletor restava uma decisão pedagógica.
Interfaces distribuem decisões, e quase sempre em silêncio. Um padrão de fábrica favorece certas ações, uma opção mal explicada torna invisível a escolha, e uma implantação sem formação docente deixa o professor respondendo por consequências que talvez nem saiba estar decidindo. Para universidades brasileiras, que começam agora seus pilotos, a pergunta não é aceitar ou recusar IA em bloco. É como testar sem confundir acesso com aprendizagem. E sem transformar uma configuração de software em política pedagógica por acidente, o que pede, no mínimo, explicitar a teoria de aprendizagem do piloto, comparar alternativas, acompanhar efeitos distintos entre grupos e publicar também os insucessos.
Eu não sei se o modo tutor teria revertido o resultado. Ninguém sabe. Quase ninguém o ligou, e o estudo não foi desenhado para responder a isso. O que ele mediu, no fim, não foi um tutor de IA: foi o que acontece quando a decisão didática mais consequente de uma disciplina é delegada, sem que ninguém perceba, a um valor padrão escolhido por quem escreveu o software. E essa, não a outra, é a pergunta que eu gostaria de ver desenhada.
Referências
Ayers, J. W. et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589–596. doi.org/10.1001/jamainternmed.2023.1838
Bjork, E. L.; Bjork, R. A. (2011). Making Things Hard on Yourself, But in a Good Way: Creating Desirable Difficulties to Enhance Learning. In M. A. Gernsbacher et al. (eds.), Psychology and the Real World.
Chi, M. T. H.; Siler, S. A.; Jeong, H.; Yamauchi, T.; Hausmann, R. G. (2001). Learning from Human Tutoring. Cognitive Science, 25(4), 471–533. doi.org/10.1207/S15516709COG2504_1
Graesser, A. C.; Person, N. K.; Harter, D.; Tutoring Research Group (2001). Teaching Tactics and Dialog in AutoTutor. International Journal of Artificial Intelligence in Education.
Liu, J. et al. (2026). The Effects of Course-Integrated AI Tutoring on Student Performance and Engagement: A Randomized University Trial. EdWorkingPaper 26-1598. doi.org/10.26300/y3f8-vh05
Olesen, M. B. (2026, 22 de maio). AI Is Becoming Frictionless. Human Learning Should Not Be. LinkedIn.
Palmer, K. (2026, 7 de outubro). A University’s Research on Its Own AI Tool Raised More Questions Than Answers. Inside Higher Ed.
Rowe, M. B. (1986). Wait Time: Slowing Down May Be a Way of Speeding Up! Journal of Teacher Education, 37(1), 43–50. doi.org/10.1177/002248718603700110
VanLehn, K. (2011). The Relative Effectiveness of Human Tutoring, Intelligent Tutoring Systems, and Other Tutoring Systems. Educational Psychologist, 46(4), 197–221. doi.org/10.1080/00461520.2011.611369
Para seguir a conversa
Os temas e formatos de palestra estão em Palestras. Convites e propostas passam por Kilza, minha agente: kilza@squared.ventures · WhatsApp.