Ipinakikilala ang Prepamigo Writing Scoring Engine

Tumugma ang writing scorer ng Prepamigo sa mga verified score sa 86% ng mga opisyal na CELPIP essay, nangunguna sa bawat frontier model na binigyan ng parehong trabaho, at sa gitnang antas, kung saan naroon ang karamihan sa mga kandidato, na-score nito nang tama ang bawat essay.

Ipinakikilala ng pahinang ito ang Prepamigo Writing Scoring Engine, ang sistemang nagi-grade ng bawat email at survey response na isinusulat sa Prepamigo. Hindi ito isang general-purpose na model na hiniling na mag-grade. Ito ay isang scorer na itinayo para sa isang trabaho: ilagay ang isang CELPIP writing response sa antas na ilalagay ito ng isang sanay na rater, at ipaliwanag ang paglalagay na iyon gamit ang mismong mga salita ng manunulat.

Ang resulta ay isang grader na mas tumpak kaysa sa anumang frontier model na ginamit sa paraang gagamitin ito ng isang estudyante. Sa 36 opisyal na CELPIP writing response na may independiyenteng na-verify na score, tumama ang engine sa tamang antas 86% ng oras. Nang hiniling sa payak na salita na i-score ang parehong mga essay, umabot ang GPT 5.6 sol sa 78%. Umabot ang GPT 5.6 luna sa 69%, ang Gemini at Claude Opus 5 sa 61%, ang GPT-4o mini sa 58%, at ang Claude Sonnet 5 sa 56%.

Pinakamahalaga ang katumpakan kung saan talaga naroon ang mga kandidato. Ang 7 o 8 ang pinakakaraniwang totoong writing score, at ito ang score na nagpapasya kung naabot na ang isang target. Inilagay ng engine ang lahat ng labindalawang gitnang-antas na essay sa loob ng band na iyon. Ang pinakamahusay na frontier model ay naglagay ng siyam; ang Claude Opus 5 ay naglagay ng tatlo. Ipinaliliwanag ng pahinang ito kung paano nagi-grade ang engine, paano ito ikinukumpara, ano ang bago sa feedback na kasama ng bawat score, at magkano ang mag-practice nang walang bilangan.

Katumpakan laban sa mga verified score

Simple ang tanong na pinapahalagahan namin. Kapag nagsumite ang isang estudyante ng essay, tumutugma ba ang score sa screen sa score na ibibigay ng isang sanay na rater? Upang sagutin ito, gumamit kami ng isang set ng mga opisyal na CELPIP writing response, na bawat isa ay may independiyenteng na-verify na score, na sumasaklaw sa parehong writing task at pantay na hinati sa mahina, gitna, at malakas na antas: labindalawang essay kada antas, 36 sa kabuuan. Ang anim na sample essay na ginagamit ng engine para sa calibration ay wala sa mga ito.

Nakita ng bawat sistema ang parehong task, kasama ang mga kinakailangang punto para sa email task at ang mga opsyon para sa survey task, at ang parehong essay. Ang bawat frontier model ay sinabihan na ito ay isang bihasang CELPIP writing examiner at hiniling ng isang score mula 0 hanggang 12. Tumakbo ang engine gaya ng ginagawa nito sa production. Tama ang isang score kapag tumama ito sa loob ng verified level: 4 o 5 para sa mahinang essay, 7 o 8 para sa gitnang essay, 10 hanggang 12 para sa malakas na essay.

Tatlong bagay ang namumukod. Una, ang agwat sa pinakamahusay na frontier model ay walong puntos, na sa 36 essay ay tatlong dagdag na tamang score, at nanatili ito sa bawat ulit na takbo. Ikalawa, ang agwat sa mga Claude model ay 25 hanggang 30 puntos, at nakasiksik ito sa gitna ng scale, kung saan binabasa ng isang general-purpose na model ang isang malinis, generic na essay bilang malakas. Ikatlo, ang paghahambing ay ang isang mahalaga sa isang estudyante: sinusukat nito ang nakukuha mo kapag idinikit mo ang essay sa isang chatbot at hihilingin, na kung paano ginagamit ng halos lahat ang mga model na ito.

Bahagi ng mga essay na na-score sa loob ng verified level, isang takbo. Labindalawang essay kada antas, kaya ang isang essay ay katumbas ng humigit-kumulang walong puntos sa level view at tatlong puntos sa kabuuan.

Performance sa bawat antas

Itinatago ng isang average kung saan bumabagsak ang mga error. Sa writing, bumabagsak ang mga ito sa dalawang lugar para sa isang general-purpose na model: sa gitna, kung saan ang isang malinis pero generic na essay ay binabasa bilang malakas, at sa itaas, kung saan ang isang malakas na essay na may isang pagkakamali ay pinipigil sa 9.

Sa mahihinang essay, ang mga GPT model ay nasa 83% at ang engine ay nasa 75%. Ang tatlong miss ng engine ay pawang isang antas na masyadong mataas, sa 6 o 7, sa mga essay na maikli pero maayos; ang mga miss ng mga Claude model ay sa kabilang direksyon, na nag-iscore ng 3 sa mga manipis na essay. Ang mahinang pagsulat ang madaling dulo ng scale para sa sinuman, at ito ang nag-iisang antas kung saan kayang tumapat o lumampas sa engine ang isang chatbot.

Sa gitna, nag-iisa ang engine sa 100%. Hinila pababa ng GPT 5.6 sol ang tatlo sa labindalawang essay sa 6. Itinulak pataas ng Claude Opus 5 ang pito sa labindalawa sa 9 o 10. Itinulak pataas ng Gemini ang lima. Ang isang gitnang-antas na essay ay sumasakop sa task, organisado, at generic din; ang isang model na walang ikukumpara ay binabasa ito ayon sa impresyon, at nag-iiba ang impresyon sa bawat model. Binabasa ito ng engine laban sa isang totoong na-grade na 7.

Sa itaas, ang Claude Opus 5 ang pinakamahusay na grader sa pagsubok, na nakilala ang labing-isa sa labindalawang malakas na essay laban sa sampu ng engine. Mapagbigay ang Claude, na tama sa malalakas na essay at mali sa lahat ng iba pa. Nagbigay ng 9 ang GPT-4o mini sa siyam sa labindalawa: hindi ito namimigay ng 10.

Consistency at katatagan

Ang isang grader na mapagkakatiwalaan ay kailangang magbigay ng parehong sagot nang dalawang beses. Pagkatapos ng headline run, na-score namin ulit ang lahat ng 36 essay nang dalawa pang beses sa magkaibang araw. Nakakuha ang engine ng 86%, 89%, at 86%, na ang parehong labindalawang gitnang-antas na essay ay nasa loob ng band sa bawat pagkakataon at walang essay na kumilos ng higit sa isang puntos sa pagitan ng mga takbo. Nakakuha ang GPT 5.6 sol ng 78%, 83%, at 81% sa parehong tatlong araw.

Pinapatakbo ng engine ang scoring model na naka-off ang reasoning at sa isang fixed temperature, na siyang gumagawa ng numerong nauulit. Ang isang solong sagot ng chatbot ay may dalang ilang puntos ng swerte sa alinmang direksyon; ang isang score na matatag sa magkaibang araw ay isang score na maaari mong pagplanuhan.

Dalawang task, dalawang uri ng pagkakamali

May dalawang task ang CELPIP writing, at magkaiba ang paraan ng pagkabigo nila. Binibigyan ka ng email task ng isang sitwasyon at tatlo o apat na puntong dapat mong sakupin. Binibigyan ka ng survey task ng dalawang opsyon at hinihiling na pumili ng isa at ipagtanggol ito. Ang isang grader na pareho ang pagtrato sa kanila ay magkakamali sa pareho.

Sa email task, tama ang engine sa 89% ng mga essay. Ang mga pagkakamaling pinakamahal sa mga kandidato dito ay hindi grammar; ito ay isang nawawalang punto, isang tono na hindi akma sa mambabasa, o isang pagbati at pangwakas na wala doon. Sinusuri ng rule layer ang bawat isa sa mga iyon bago magbigay ng opinyon ang rater, at ang isang nawawalang punto ay nagpipigil sa task fulfillment sa 8 o mas mababa gaano man kakinis ang Ingles. Ang isang chatbot na hiniling ng score sa payak na salita ay hindi alam kung aling mga punto ang kinakailangan maliban kung idinikit mo ang mga ito, at kahit noon ay bihira nitong suriin ang mga ito isa-isa.

Sa survey task, tama ang engine sa 83% ng mga essay. Ginagantimpalaan ng survey task ang isang malinaw na posisyon at dalawang nabuong dahilan, at pinaparusahan ang isang sagot na nag-aalinlangan. Unang binabasa ng engine ang paninindigan: ang isang sagot na hindi kailanman nagko-commit ay hindi makakakuha ng higit sa gitna sa task fulfillment. May hilig ang mga chatbot na gantimpalaan ang isang balanseng sagot, na sa isang survey response ay isang pagkakamali.

Ang punto ng isang task-aware na grader ay na ang score ay sumasalamin sa kung ano ang magiging reaksyon ng isang rater sa task na iyon, hindi isang pangkalahatang impresyon ng Ingles. Ang isang gitnang-antas na email ay karaniwang gitnang-antas na email dahil sa isang manipis na ikatlong punto; ang isang gitnang-antas na survey response ay karaniwang ganoon dahil ang isang dahilan ay sinabi lamang at hindi binuo. Sinasabi sa iyo ng engine kung alin, ayon sa pangalan.

Kung saan hindi ang engine ang pinakamahusay

Nangunguna ang engine sa kabuuan at sa gitna. Hindi ito ang nangunguna sa magkabilang dulo, at mas patas na sabihin ito kaysa itago sa isang average.

Sa mahihinang essay, ang tatlong GPT model ay nakakuha ng tig-83% laban sa 75% ng engine. Ang mga miss ng engine ay pawang isang antas na mataas, sa maikli at maayos na mga essay na walang binuong anuman. Ang isang GPT model, na binabasa ang generic na pagsulat bilang mahina, ay tama sa mga ito. Kung nasa mahinang antas ka at gusto mo lamang ng kumpirmasyon niyon, ibibigay ito sa iyo ng GPT 5.6 sol nang bahagyang mas madalas. Sasabihin din nito, tatlong beses sa labindalawa, sa isang gitnang-antas na manunulat na 6 siya.

Sa malalakas na essay, nakakuha ang Claude Opus 5 ng 92% laban sa 83% ng engine. Mapagbigay na binabasa ng Claude ang makinis na pagsulat, na sa isang malakas na essay ay tama. Ang parehong kabutihang-loob ay nagbigay ng 9 o 10 sa pito sa labindalawang gitnang-antas na essay. Kung nagsusulat ka na sa malakas na antas, kukumpirmahin ito ng Claude Opus 5 nang bahagyang mas madalas kaysa sa engine. Kung hindi pa, ito ang model na pinakamalamang na magsabing oo na.

Ang engine ang nag-iisang grader sa pagsubok na nasa loob ng sampung puntos mula sa nangunguna sa bawat antas, at ang nag-iisang nasa 100% sa gitna. Iyan ang profile na kailangan ng isang kandidato: isang grader na hindi napakahusay sa isang antas at mali sa iba, kundi tama halos saanman at tama kung saan naroon ang karamihan sa mga kandidato.

Paano nagi-grade ng sagot ang engine

Narito ang nangyayari sa humigit-kumulang isang minuto sa pagitan ng pagpindot ng submit at pagbabasa ng score.

1. Unang binabasa ng rule layer ang essay. Bago ito makita ng anumang model, binibilang ng engine ang mga salita, sinusuri ang email para sa pagbati at pangwakas, sinusuri ang survey response para sa malinaw na pagpili, at itinutugma ang essay sa mga kinakailangang punto sa prompt. Nagiging mahigpit na limitasyon ang mga pagsusuring ito na hindi kayang lampasan ng rater: ang isang survey response na hindi kailanman pumipili ng panig, o isang email na parang sagot sa survey, ay hindi makakakuha ng higit sa gitna ng scale sa task fulfillment.
2. Ikinukumpara ang essay sa mga totoong na-grade na sample. Nakikita ng rater ang tatlong totoong CELPIP response sa parehong uri ng task, isa sa mahinang antas, isa sa gitna, isa sa itaas, lahat may totoong pagkakamali sa loob, at inilalagay ang essay kaugnay ng mga ito sa bawat isa sa apat na dimensyon: content at coherence, vocabulary, readability, task fulfillment. Ang kahawig ng gitnang sample ay 7 o 8; ang kahawig ng pinakamataas na sample ay 10 o 11; ang malinaw na mas malakas kaysa sa pinakamataas na sample ay 12.
3. Bawat paghusga ay nangangailangan ng ebidensya. Para sa bawat dimensyon, dapat sipiin ng rater ang mga parirala mula sa essay na sumusuporta sa score bago nito ibigay ang score. Ang mga sipi na hindi mahanap sa essay ay itinatapon.
4. Ang mga nakaligtaang punto ay nagpipigil sa score. Kung iuulat ng rater na nawawala ang isang kinakailangang punto, pinipigil ang task-fulfillment score sa 8 o mas mababa, kaya nagkakasundo ang numero at ang feedback.
5. Nagiging isang score ang apat na dimensyon. Ang kabuuang score ay ang average ng apat, pagkatapos mailapat ang mga limitasyon ng rule layer.
6. Binubuo ang feedback mula sa parehong ebidensya. Mga pagwawasto, isang model answer sa tamang haba, ang mga nakaligtaang punto ayon sa pangalan, at isang limiting factor kada dimensyon, lahat sinipi mula sa mismong teksto ng manunulat. Nakalista sa seksyon sa ibaba kung ano ang nagbago.

Sinubok din namin ang paglipat ng engine sa two-grader, vote-and-reconcile na disenyo na ginagamit ng aming speaking scorer. Hindi ito nakatulong sa writing: mas magkalapit ang mga opisyal na writing level sa 0 hanggang 12 scale kaysa sa mga speaking level, at ang pagpilit sa isang rater na pumili sa pagitan ng mga sample nang walang opsyong nasa pagitan ay nagtulak sa mga gitnang-antas na essay pataas sa 9. Pinananatili ng writing engine ang disenyong nag-iscore ng gitna nang tama.

Ano ang bago sa iyong writing feedback

Ang score ay kalahati lamang ng natatanggap mo. Itinayong muli ang writing feedback layer kasabay ng scorer, at lahat ng nasa loob nito ay nakaangkla sa sarili mong teksto. Ito ang mga pagbabago.

• Mga pagwawasto na mahahanap mo sa sarili mong essay. Bawat pagwawasto sa grammar, spelling at bokabularyo ay nagsisipi ng eksaktong mga salita mula sa iyong sagot, kaya kayang i-highlight ng app ang mga ito kung saan mo isinulat. Anumang hindi mahanap ng checker nang salita por salita sa iyong essay ay tinatanggal bago mo ito makita.
• Isang model answer, na binuo mula sa sagot mo. Makakatanggap ka ng muling isinulat na bersyon ng sarili mong sagot na nagpapanatili ng iyong mga ideya, sumasakop sa bawat kinakailangang punto, at umaabot sa 150 hanggang 200 salita na hinihingi ng task. Kung hindi maabot ng unang rewrite ang habang iyon, ginagawa itong muli nang isang beses bago ipakita.
• Ang kinakailangang puntong hindi mo natugunan, na pinangalanan. Para sa email task, inililista ng feedback ang mga bullet point mula sa prompt na hindi nasakop ng iyong sagot. Ang isang napalampas na punto ay nagpapanatili rin ng task-fulfillment score sa 8 o mas mababa, kaya hindi kailanman magkakasalungat ang numero at ang feedback.
• Isang limiting factor sa bawat dimensyon. Para sa bawat isa sa apat na dimensyon, pinangangalanan ng feedback ang iisang bagay na pumipigil sa score na iyon, sa konkretong salita, o sinasabi nang malinaw na walang pumipigil at kung ano ang bumubuhat dito. Ang pagpapasyang walang problema ang isang dimensyon ay isang totoong sagot, hindi isang puwang.
• Puna sa tamang lugar. Ang mahinang tono ay problema sa task fulfillment, ang malabong pagpili ng salita ay problema sa bokabularyo, ang run-on sentence ay problema sa readability. Bawat punto ay inilalagay sa ilalim ng dimensyong nagmamay-ari nito sa halip na isama lang sa pangkalahatang buod.
• Mga rewrite sa antas ng pangungusap. Ang mga tiyak na pangungusap mula sa iyong essay ay ibinabalik na may pinahusay na bersyon at isang linya kung bakit ito mas maganda, para makita mo ang pagbabago sa halip na basahin lang ang tungkol dito.
• Ang pinakamalakas at pinakamahina mong dimensyon, magkatabi. Sinasabi sa iyo ng feedback kung alin sa apat na dimensyon ang bumubuhat sa iyong score at alin ang pumipigil dito, para malaman mo kung ano ang susunod na sasanayin nang hindi kailangang unawain ang apat na numero.

Bawat sipi sa feedback ay sinusuri laban sa iyong essay bago ito ipakita. Kung hindi mahanap ng checker ang mga salita, tinatanggal ang linya. Kaya hindi kailanman sasabihin sa iyo ng feedback na ayusin ang isang bagay na hindi mo isinulat.

Ano ang gagawin sa score

Binabago ng isang score na mapagkakatiwalaan kung paano ka nagpa-practice. Sa isang chatbot, hindi ka kailanman sigurado kung ang paggalaw mula 8 patungong 9 ay ikaw o ang model, kaya ang bawat score ay kailangang isukat sa isang pakiramdam. Sa isang matatag at tumpak na grader, ang score na mismo ang feedback.

• Isulat ang parehong task nang dalawang beses. Isumite, basahin ang mga nakaligtaang punto at ang limiting factor para sa bawat dimensyon, isulat muli na katabi ang model answer, at isumite ulit. Ang isang pagbabago ng isang puntos o higit pa sa pagitan ng dalawa ay pagbabago sa iyong pagsulat, dahil binibigyan ng engine ang parehong essay ng parehong score.
• Subaybayan ang pinakamahinang dimensyon, hindi ang kabuuan. Ang kabuuang score ay average ng apat. Dalawang kandidatong may 8 ay maaaring may lubos na magkaibang problema. Pinapangalanan ng feedback ang dimensyon na pumipigil sa iyo, at iyon ang dapat pagbutihin.
• Ituring ang 9 bilang muntik na. Pareho sa mga miss ng engine sa malalakas na essay ay 9. Ang 9 mula sa engine ay nangangahulugang isang nabuong dahilan o isang tumpak na pagpili ng salita ang kulang para sa 10.
• Magsalitan ng task. Karamihan sa mga kandidato ay nagpa-practice ng task na gusto nila. Nag-iscore ang engine ng email at survey response laban sa magkaibang sample at magkaibang panuntunan, kaya walang sinasabi ang isang malakas na email score tungkol sa iyong survey response.

Walang limitasyong practice para sa CA$25 kada buwan

Kapaki-pakinabang lamang ang katumpakan kung kaya mo itong gamitin araw-araw. Ang isang writing score na mapagkakatiwalaan ay pinakamahalaga sa iyong ikatatlumpung essay, hindi sa ikatlo, dahil iyon ang oras na nagsisimula itong magsabi kung gumagana ba ang isang pagbabago sa kung paano ka nagsusulat. Kaya na-price ang engine upang gamitin nang walang bilangan.

Ang bawat plan ng Prepamigo ay may walang limitasyong pag-score, walang limitasyong pagsubok, at ang buong bangko ng tanong: 80 kumpletong practice set at mahigit 2,000 practice task sa Writing, Speaking, Reading, at Listening, na sinulat upang sundin ang tipo ng task, timing, at format ng CELPIP General test. Sumulat ka, isumite mo, at pagkalipas ng humigit-kumulang isang minuto ay nasa iyo na ang score, ang mga pagwawasto, at isang model answer.

Ang mga presyo at usage term ng plan ng Claude ay gaya ng nailathala sa claude.com noong Setyembre 2026 at maaaring magbago. Ang CELPIP ay isang trademark ng may-ari nito; ang Prepamigo ay isang independiyenteng practice platform at hindi kaakibat, sinusuportahan, o konektado sa test maker. Ang mga practice task ng Prepamigo ay orihinal na materyal na sinulat upang sundin ang pampublikong format ng test.

Availability

Aktibo na ngayon ang Prepamigo Writing Scoring Engine para sa lahat ng user ng Prepamigo sa parehong writing task. Walang kailangang i-enable. Ang bawat email at survey response ay na-iscore nito, at ang bawat score ay may kasamang feedback na hango sa mismong teksto ng manunulat.

Para sa mga head-to-head na paghahambing, basahin ang Prepamigo laban sa Claude para sa writing at Prepamigo laban sa ChatGPT para sa writing. Para sa panig ng speaking, basahin ang Scoring Engine 2.0 para sa Speaking. O Sumulat ng sagot at panoorin ang engine na tumatakbo. Basahin ang gabay na ito sa Ingles.