Prepamigo vs Claude para o CELPIP Speaking: qual dá a nota certa?

Se você já colou uma transcrição de speaking na Claude e pediu para ela te avaliar como um examinador do CELPIP, você já conhece o apelo. Ela responde na hora, se explica e nunca cansa. A questão é se o número que ela te dá é o número que você realmente receberia. Rodamos esse teste do jeito que um estudante faria: a mesma transcrição, um pedido simples de nota, e depois contamos.

A resposta curta: em 48 respostas de speaking que os sistemas nunca tinham visto, cada uma com uma nota verificada de forma independente, o Prepamigo Scoring Engine 2.0 acertou o nível correto 81% das vezes. Quando pedida em linguagem simples para pontuar as mesmas transcrições, a Claude Opus 5 acertou o nível correto 62% das vezes e a Claude Sonnet 5, 45% das vezes. A diferença é maior justamente onde mais importa para quem busca uma nota alta: em respostas de nível alto, o Engine 2.0 reconheceu 71%, a Opus 5 reconheceu 50%, e a Sonnet 5 reconheceu 29%.

Depois fizemos algo que a maioria das comparações não faz. Demos à Claude o nosso próprio procedimento de correção, com exemplos reais de calibração para cada tarefa e uma comparação forçada contra eles, para ver o quanto ela poderia, na melhor das hipóteses, chegar. A Opus 5 subiu para 77% e a Sonnet 5 para 69%. As duas ainda ficaram atrás do Engine 2.0, e as duas ainda tiveram mais dificuldade justamente nas respostas de nível alto. O restante deste artigo percorre os dois testes, como os números se comportam em cada nível de nota, por que um assistente genérico tende para o meio da escala, como é o fluxo de trabalho diário de cada lado, e quanto custa cada opção para quem pretende praticar de verdade.

O teste simples: o que um estudante realmente recebe

Oitenta e um por cento contra sessenta e dois e quarenta e cinco. Em um teste de 48 respostas, a diferença entre o Engine 2.0 e a Opus 5 é de nove notas corretas extras, e a diferença entre o Engine 2.0 e a Sonnet 5 é de dezessete. Em outras palavras, o Engine 2.0 comete 51% menos erros de pontuação do que a Opus 5 e 66% menos do que a Sonnet 5.

Três execuções separadas do teste simples deram à Opus 5 62%, 65% e 58%, e à Sonnet 5 44%, 46% e 46%. Essa variação de vários pontos entre execuções já é, por si só, uma descoberta: peça à Claude para avaliar a mesma transcrição em dois dias diferentes e, com uma frequência considerável, você vai receber duas notas diferentes. O Engine 2.0 pontuou 81.3% em cada uma das três execuções.

Onde a diferença se abre: nível de nota por nível de nota

A maioria dos corretores, humanos ou de máquina, tende para o meio da escala. Uma resposta forte se torna um 8 em vez de um 10; uma fraca se torna um 6 em vez de um 5. Essa tendência é invisível em uma média e óbvia no momento em que os resultados são divididos por nível. Com um pedido simples, a Claude soma um segundo hábito a esse: ela tende para baixo, de modo que até respostas fracas costumam ser pontuadas abaixo do seu nível.

Em respostas fracas, o Engine 2.0 lidera com 88%, a Opus 5 vem depois com 77%, e a Sonnet 5 cai para 44%. Este é o lado fácil da escala, e a Opus 5 se sai razoavelmente bem. A Sonnet 5 não: ela dá 3 a uma resposta de 4 ou 5 na maioria das vezes, o que é o nível errado mesmo que a direção seja compreensível. Um estudante nesse nível que usa a Sonnet 5 para se avaliar vai ouvir, na maior parte das vezes, que está pior do que realmente está.

No meio, o Engine 2.0 está em 85% e os dois modelos da Claude estão em 63% e 58%. Respostas de nível médio contêm uma mistura de forças e fraquezas que precisa ser pesada em vez de simplesmente notada, e sem exemplos de calibração para comparar, os dois modelos da Claude tendem a ver as fraquezas e dar um 6. Um falante de nível 7 ou 8 vai ouvir que é um 6 mais ou menos quatro vezes em dez.

No topo, o Engine 2.0 reconhece 71% das respostas de nível alto. A Opus 5 reconhece a metade delas. A Sonnet 5 reconhece 29%, o que significa que ela dá um 7 ou 8 a sete de cada dez respostas que mereciam um 10.

Pense no que isso significa na prática. Suponha que seu speaking hoje realmente esteja em um nível 10. Você grava oito respostas, transcreve, cola na Claude Sonnet 5 e pede uma nota, e ela te diz que seis delas são 7s e 8s. Você conclui que não está pronto. Você passa mais três semanas treinando. Você estava pronto o tempo todo. Isso não é uma falha hipotética; é o erro individual mais comum em todo o nosso teste, e recai com mais peso justamente sobre os candidatos que trabalharam mais.

E se você der à Claude o nosso procedimento completo?

É tentador ler os números do teste simples como se a Claude fosse um modelo fraco. Não é o caso. A Opus 5 é, de longe, o corretor genérico mais forte que já testamos. O problema não é inteligência. É que um modelo, quando pedido para dar um número, sem nada para comparar, chuta, e quando chuta, chuta para baixo e para o meio.

Então rodamos o segundo teste. A Claude recebeu o mesmo pacote que os corretores do Engine 2.0 recebem: a transcrição, a tarefa, dois exemplos reais de calibração em cada nível para aquela tarefa exata, e uma instrução para nomear o exemplo mais próximo em cada uma das quatro dimensões, em vez de produzir um número. Cada modelo também recebeu uma breve nota de calibração ajustada às suas próprias tendências.

Os exemplos de calibração fazem uma grande diferença. A Opus 5 sobe de 62% para 77%; a Sonnet 5, de 45% para 69%. A precisão no nível baixo para as duas chega a 88%, o mesmo do Engine 2.0. A precisão no nível médio chega a 81% para as duas. Vale a pena parar nesse ponto, porque ele mostra onde realmente está o valor de um corretor feito sob medida: não em um modelo mais inteligente, mas em exemplos reais de como cada nível soa em cada tarefa específica, e em uma pergunta que força o modelo a comparar em vez de chutar.

Mesmo assim, os dois modelos continuam atrás no topo da escala. Com o procedimento completo, a Opus 5 reconhece 63% das respostas de nível alto e a Sonnet 5 reconhece 38%, contra 71% do Engine 2.0. Um único modelo fazendo uma única passagem ainda hesita diante de uma resposta forte que tem um deslize. O Engine 2.0 fecha a diferença restante com mais três coisas: dois corretores independentes de provedores diferentes, três votos de cada um mantendo o voto do meio, e uma regra de reconciliação que adota a nota mais alta quando os dois corretores discordam fortemente, porque a análise mostrou que o veredito mais baixo quase sempre era o errado em respostas fortes.

Também tentamos o atalho óbvio: manter o pedido simples e adicionar instruções como “não tenda para o meio” ou “uma resposta de nível 9 não precisa ser perfeita”. Elas não produziram nenhuma mudança mensurável. O modelo concorda com a instrução e depois faz o que já ia fazer de qualquer jeito. O que funciona é mudar a pergunta, e dar a ele algo real para comparar.

A diferença no fluxo de trabalho: gravar e seguir, ou fazer tudo você mesmo

Os números de precisão pressupõem que a correção realmente aconteça. Com a Claude, uma quantidade surpreendente de trabalho fica entre apertar o botão de parar na sua gravação e ler uma nota.

Primeiro, você precisa de uma transcrição. A interface de chat da Claude não avalia gravações de áudio, então você precisa produzir texto. Isso significa digitar o que você disse, o que muda a resposta, ou passar a gravação por uma ferramenta de transcrição. E aqui está um detalhe que nos custou muita precisão antes de entendermos: a transcrição precisa ser literal. Toda hesitação, toda retomada, toda autocorreção precisa ficar. Quando testamos uma transcrição “higienizada”, com as hesitações removidas, a precisão caiu quinze pontos, porque essas hesitações são exatamente a evidência de que um corretor precisa para julgar como uma resposta soa. A maioria das ferramentas de transcrição para consumidores higieniza por padrão.

Segundo, você precisa da tarefa. A Claude não tem um banco de enunciados no estilo CELPIP com o tempo e o formato corretos. Ou você escreve o seu próprio, o que significa chutar o que o teste real pede, ou encontra um em outro lugar e cola junto com a transcrição.

Terceiro, se você quiser algo melhor do que os números do teste simples, precisa de exemplos de calibração: respostas reais em cada nível para o mesmo tipo de tarefa, com níveis verificados. Foi essa entrada que levou a Opus 5 de 62% para 77% no nosso teste, e é aquela que um estudante não consegue produzir em casa.

Quarto, você faz tudo isso de novo para a próxima resposta. E para a seguinte.

Na Prepamigo, você escolhe uma tarefa do banco, o cronômetro roda, você fala, e cerca de dez segundos depois de parar, a nota e o feedback já estão na tela. A transcrição é literal por design, os exemplos de calibração são anexados à tarefa automaticamente, e não há nada para colar e nada para pedir. A décima primeira resposta da noite custa o mesmo esforço que a primeira.

Consistência: a mesma resposta, a mesma nota

Uma nota que você não consegue reproduzir não é uma medida. Se a mesma gravação recebe um 8 na segunda e um 10 na terça, você não aprendeu nada sobre o seu speaking e algo sobre o humor do corretor. Então também testamos se cada sistema dá a mesma resposta duas vezes.

O Engine 2.0 foi rodado sobre as 48 respostas reservadas três vezes separadas. Ele pontuou 81.3% em cada execução. Olhando para as respostas individuais em vez do agregado, 87.5% receberam a mesma nota idêntica nas três execuções, e apenas 4.2% chegaram a se mover por dois pontos ou mais. Essas poucas são respostas que ficam exatamente na fronteira entre dois níveis, onde uma pequena diferença de julgamento legitimamente pode inclinar a nota para um lado ou para o outro.

O teste simples na Claude se moveu vários pontos entre as execuções no nível agregado, e ainda mais no nível das respostas individuais. Essa falta de consistência não é um acidente dos modelos envolvidos. Ela vem da votação. Cada corretor do Engine 2.0 vota três vezes em cada resposta e o voto do meio é mantido, o que remove o eventual valor fora da curva que uma única passagem produz. Quando testamos a mesma configuração com um único voto em vez de três, a concordância entre execuções caiu de 87.5% para 77.1%. Uma única conversa com a Claude é um único voto.

Feedback que você pode usar

Uma nota te diz onde você está. O feedback te diz o que fazer a seguir, e essa é uma área em que a Claude é genuinamente boa. Ela escreve com clareza, é paciente, e se você perguntar por que ela deu uma nota específica, ela vai explicar no tamanho que você quiser. Para um candidato que quer discutir uma resposta, isso tem valor.

O risco é o mesmo da nota: uma explicação fluente não é a mesma coisa que um diagnóstico correto. Um modelo que pontuou um 10 como 7 vai explicar, de forma convincente, por que é um 7. Ele vai encontrar algo para apontar. E como a Claude não precisou se comprometer com evidências antes de pontuar, a explicação é escrita depois do fato, para justificar um número que ela já escolheu.

O Engine 2.0 funciona ao contrário. Como cada corretor precisa apontar evidências para cada dimensão que julga, a camada de feedback recebe essa evidência diretamente: as frases exatas da sua transcrição que sustentaram o veredito sobre conteúdo, vocabulário, como você soa, e se você completou a tarefa. O feedback é escrito a partir dessa evidência e cita suas próprias palavras. Em nossa auditoria de 158 citações em uma amostra de feedback, 157 apareceram literalmente na transcrição. Quando pedimos a um modelo julgador independente para comparar o feedback do Engine 2.0 com o feedback do nosso sistema anterior, sem saber qual era qual, ele preferiu o Engine 2.0 em 20 de 24 comparações, tanto julgando como um examinador julgaria quanto como um estudante julgaria.

Também testamos se o feedback aponta a crítica no lugar certo. Pegamos respostas fortes e deliberadamente danificamos um aspecto de cada uma: inserindo erros gramaticais e hesitações, trocando palavras precisas por vagas, retirando detalhes de apoio, ou removendo a ação central que a tarefa pedia. Em três dos quatro casos, a dimensão que tínhamos danificado foi a que teve a maior queda de nota. É o tipo de verificação que um chatbot não consegue passar com facilidade, porque ele não tem dimensões fixas contra as quais ser checado.

Quanto custa praticar todos os dias

Uma nota de speaking é mais útil na sua quadragésima resposta, não na quarta. É nesse ponto que ela começa a dizer se uma mudança no jeito que você fala está realmente funcionando. Então a pergunta prática não é quanto cada ferramenta custa, mas quanto custa usá-la em volume.

A Claude Pro custa US$20 por mês, cerca de CA$28, ou US$17 por mês na cobrança anual, conforme publicado no claude.com em setembro de 2026. Ela vem com uma janela de uso rotativa de cinco horas e um limite semanal; quando você atinge um dos dois, você espera. Transcrições longas com exemplos de calibração anexados são exatamente o tipo de mensagem que consome bastante dessa cota. Os planos Max, a partir de US$100 por mês, cerca de CA$138 antes de impostos, elevam bastante os limites, mas não os eliminam. Nenhum dos planos inclui um banco de questões, um cronômetro, transcrição, exemplos de calibração, ou qualquer coisa específica do CELPIP.

A Prepamigo custa CA$24.98 por mês, ou CA$8.25 por mês no plano anual, o que dá CA$98.98 no ano, com impostos inclusos, e você pode cancelar quando quiser. Todo plano inclui pontuação ilimitada pelo Engine 2.0, sem limite diário, por sessão ou semanal, tentativas ilimitadas, e o banco de questões completo: 80 conjuntos de prática completos e mais de 2,000 tarefas de prática em Speaking, Writing, Reading e Listening, escritas para seguir os tipos de tarefa, o tempo e o formato do teste CELPIP General.

Em termos simples: por menos do que o preço da Claude Pro, você tem um corretor muito mais preciso justamente nas respostas que mais importam, que nunca te pede para esperar, e que já vem com as questões e os exemplos de calibração prontos.

Quando a Claude é a ferramenta melhor

Este não é um artigo defendendo que você nunca deve abrir a Claude enquanto se prepara para o CELPIP. Existem várias coisas que ela faz melhor do que um motor de pontuação especializado, e um candidato a sério pode muito bem usar as duas coisas.

• Discutir uma resposta. Se você quer entender por que um argumento em particular foi fraco, ou pensar em três razões melhores, uma conversa é o formato certo. O Engine 2.0 te dá um veredito e evidências; ele não conversa.
• Ajuda com vocabulário e frases. Pedir à Claude cinco jeitos mais naturais de dizer algo é rápido e útil, e as sugestões dela geralmente são boas.
• Prática de writing. Respostas escritas não precisam de transcrição, então a diferença no fluxo de trabalho é muito menor. A precisão da Claude em writing não fez parte deste teste, e não fazemos nenhuma afirmação sobre ela aqui.
• Qualquer coisa fora do teste. Perguntas sobre documentos de imigração, cronogramas de estudo, explicar um ponto de gramática: a Claude é uma assistente geral e a Prepamigo não é.

O que a Claude não deveria ser, com base nas evidências aqui, é a coisa que te diz se você está pronto. Para isso você quer um corretor construído para essa função, testado em respostas que nunca tinha visto, e medido nível por nível.

O que há de novo no seu feedback

O Engine 2.0 vem com uma camada de feedback totalmente reconstruída. Ela lê as evidências dos dois avaliadores, não apenas a nota, e foi testada com três tipos de aluno: alguém enfrentando o CELPIP pela primeira vez, alguém com inglês fraco em busca do truque, e alguém com meia hora por dia e uma prova na semana seguinte. Veja o que mudou.

• Suas próprias palavras, citadas de volta. Cada ponto do feedback cita a frase exata da sua transcrição que motivou a reação dos avaliadores. Se uma frase está entre aspas, ela foi copiada literalmente; em nossa auditoria, 157 de 158 citações eram. O feedback nunca inventa algo que você não disse.
• Uma coisa para corrigir primeiro. Cada resposta recebe uma única ação prioritária: a mudança que mais elevaria sua nota, escrita nas palavras mais simples da página. Depois vêm mais duas ações concretas e, por fim, uma lista de três itens para repassar mentalmente antes de começar a falar.
• Conselhos que combinam com a tarefa. Dar um conselho, descrever uma cena e convencer alguém são avaliados por critérios diferentes. Agora o feedback sabe o que cada um dos oito tipos de tarefa recompensa e fala diretamente sobre isso, em vez de repetir as mesmas dicas genéricas em todas as tarefas.
• Qual dimensão praticar primeiro. O feedback informa qual das quatro dimensões é sua mais fraca e qual é sua mais forte, para que você saiba onde está o próximo ponto, sem escondê-lo atrás de um número.
• O que a tarefa pedia e você deixou passar. Para o cumprimento da tarefa, o feedback lista as partes específicas do enunciado que você não cobriu, ou diz claramente que você cobriu todas elas.
• Coisas que você pode realmente ensaiar. Cada dica de como fazer é algo que você pode dizer em voz alta antes da próxima tentativa. Nenhum conselho para falar com mais clareza ou reduzir seu sotaque: sotaque não é o que a inteligibilidade mede, e o feedback nunca comenta sobre isso.
• Sem culpar o cronômetro. Uma resposta interrompida pelo relógio depois de já ter cumprido a tarefa não é penalizada pela interrupção, e o feedback não o repreende por isso.

Quando um modelo avaliador independente comparou este feedback com o que nosso sistema anterior produzia para as mesmas respostas, sem saber qual era qual, ele preferiu o novo feedback em 20 de 24 comparações, tanto julgando como um examinador quanto julgando como um aluno julgaria.

Perguntas frequentes

A Claude consegue pontuar minha prática de speaking do CELPIP? Ela vai te dar um número. Quando pedida de forma simples em 48 respostas inéditas com notas verificadas, a Claude Opus 5 acertou o nível verificado 62% das vezes e a Claude Sonnet 5, 45% das vezes, contra 81% do Prepamigo Scoring Engine 2.0. Em respostas de nível alto, a Sonnet 5 acertou 29% das vezes.

A Prepamigo é mais precisa que a Claude? Sim: 81% contra 62% e 45% com um pedido simples. Com o nosso procedimento completo e exemplos de calibração, a Opus 5 chegou a 77% e a Sonnet 5 a 69%, ainda atrás, e ainda mais fraca no topo da escala.

Quanto custa cada uma? A Claude Max custa a partir de US$100 por mês, cerca de CA$138 antes de impostos, com limites de uso; a Claude Pro custa US$20 com limites mais apertados. A Prepamigo custa CA$24.98 por mês com impostos inclusos, ou CA$8.25 por mês no plano anual, com pontuação ilimitada e 80 conjuntos de prática.

Por que a Claude continua dando 7 ou 8 nas minhas respostas fortes? Um modelo, ao ser pedido para dar um número sem nada para comparar, tende para baixo e para o meio, e uma resposta de nível alto nunca é perfeita. Quando pedida de forma simples, a Sonnet 5 deu 9 ou mais a uma resposta de nível alto em apenas 29% das vezes.

Para ver como a pontuação realmente funciona, leia por dentro do Scoring Engine 2.0. Para ver o ranking completo incluindo GPT e Gemini, leia qual ia pontua o speaking do CELPIP com mais precisão. Ou pule a leitura e grave uma resposta. Leia também a versão original em Ler este guia em inglês.