Prepamigo Writing Scoring Engine을 소개합니다

Prepamigo의 라이팅 채점기는 공식 CELPIP 에세이의 86%에서 검증된 점수와 일치했습니다. 같은 작업을 맡긴 모든 최첨단 모델을 앞섰고, 대부분의 응시자가 있는 중위 등급에서는 모든 에세이를 정확하게 채점했습니다.

이 페이지에서는 Prepamigo에서 작성되는 모든 이메일과 설문 응답을 채점하는 시스템인 Prepamigo Writing Scoring Engine을 소개합니다. 이것은 채점을 맡긴 범용 모델이 아닙니다. 단 하나의 일을 위해 만들어진 채점기입니다: CELPIP 라이팅 응답을 훈련된 채점관이 놓을 자리에 놓고, 그 판정을 글쓴이 자신의 표현으로 설명하는 일입니다.

그 결과는 학생이 실제로 사용하는 방식으로 사용했을 때 어떤 최첨단 모델보다 정확한 채점기입니다. 독립적으로 검증된 점수가 있는 36개의 공식 CELPIP 라이팅 응답에서 이 엔진은 86%의 확률로 정확한 등급을 맞혔습니다. 같은 에세이를 평범한 말로 채점하도록 요청했을 때 GPT 5.6 sol은 78%였습니다. GPT 5.6 luna는 69%, Gemini와 Claude Opus 5는 61%, GPT-4o mini는 58%, Claude Sonnet 5는 56%였습니다.

정확도는 응시자들이 실제로 있는 곳에서 가장 중요합니다. 7점 또는 8점은 실제 라이팅 점수 중 가장 흔한 점수이며, 목표 달성 여부를 가르는 점수이기도 합니다. 엔진은 중위 등급 에세이 열두 개를 모두 그 등급 안에 놓았습니다. 최고의 최첨단 모델은 아홉 개를, Claude Opus 5는 세 개를 놓았습니다. 이 페이지에서는 엔진이 어떻게 채점하는지, 다른 모델과 어떻게 비교되는지, 모든 점수에 딸려 오는 피드백에서 무엇이 새로워졌는지, 그리고 횟수를 세지 않고 연습하는 데 얼마가 드는지 설명합니다.

검증된 점수 대비 정확도

우리가 신경 쓰는 질문은 단순합니다. 학생이 에세이를 제출할 때, 화면에 나타난 점수가 훈련된 채점관이 줬을 점수와 일치하는가? 이 질문에 답하기 위해 우리는 각각 독립적으로 검증된 점수가 있는 공식 CELPIP 라이팅 응답 세트를 사용했습니다. 두 가지 라이팅 과제를 모두 포괄하고 하위·중위·최상위 등급에 균등하게 나뉘어 있습니다: 등급당 에세이 열두 개, 총 36개입니다. 엔진이 보정에 사용하는 예시 에세이 여섯 개는 여기에 포함되지 않습니다.

모든 시스템은 이메일 과제의 필수 항목과 설문 과제의 선택지를 포함한 동일한 과제와 동일한 에세이를 받았습니다. 각 최첨단 모델에게는 자신이 경험 많은 CELPIP 라이팅 시험관이라고 알려주고 0점에서 12점 사이의 점수 하나를 요청했습니다. 엔진은 프로덕션에서 작동하는 방식 그대로 실행되었습니다. 점수가 검증된 등급 안에 들어오면 정확한 것으로 간주합니다: 하위 에세이는 4점 또는 5점, 중위 에세이는 7점 또는 8점, 최상위 에세이는 10점에서 12점입니다.

세 가지가 눈에 띕니다. 첫째, 최고의 최첨단 모델 대비 격차는 8포인트로, 36개 에세이에서는 정답 세 개 차이이며 반복 실행할 때마다 유지되었습니다. 둘째, Claude 모델 대비 격차는 25에서 30포인트인데, 척도의 중간에 집중되어 있습니다. 범용 모델은 깔끔하지만 평범한 에세이를 최상위 에세이로 읽기 때문입니다. 셋째, 이 비교는 학생에게 중요한 비교입니다: 에세이를 챗봇에 붙여넣고 물었을 때 얻게 되는 것을 측정하는데, 이는 거의 모든 사람이 이 모델들을 사용하는 방식입니다.

검증된 등급 안에 채점된 에세이의 비율, 단일 실행 기준입니다. 등급당 에세이가 열두 개이므로 에세이 한 개는 등급별 보기에서 약 8포인트, 전체에서 약 3포인트에 해당합니다.

모든 등급에서의 성능

평균은 오류가 어디에서 발생하는지 숨깁니다. 라이팅에서 범용 모델의 오류는 두 곳에서 발생합니다: 깔끔하지만 평범한 에세이가 최상위로 읽히는 중간, 그리고 작은 실수 하나가 있는 최상위 에세이가 9점에 묶이는 상단입니다.

하위 에세이에서는 GPT 모델들이 83%, 엔진이 75%입니다. 엔진이 놓친 세 개는 모두 짧지만 정돈된 에세이에서 한 단계 높은 6점이나 7점으로 갔습니다. Claude 모델들이 놓친 경우는 반대 방향으로, 내용이 빈약한 에세이에 3점을 줬습니다. 약한 글은 누구에게나 척도에서 쉬운 쪽 끝이며, 챗봇이 엔진을 따라잡거나 앞설 수 있는 유일한 등급입니다.

중간에서는 엔진만이 100%입니다. GPT 5.6 sol은 열두 개 중 세 개를 6점으로 끌어내렸습니다. Claude Opus 5는 열두 개 중 일곱 개를 9점이나 10점으로 밀어 올렸습니다. Gemini는 다섯 개를 밀어 올렸습니다. 중위 등급 에세이는 과제를 다루고, 구성이 잡혀 있으면서도 평범합니다. 비교할 대상이 없는 모델은 인상으로 읽고, 그 인상은 모델마다 다릅니다. 엔진은 실제로 채점된 7점 에세이와 비교해 읽습니다.

상단에서는 Claude Opus 5가 이 테스트에서 최고의 채점자로, 최상위 에세이 열두 개 중 열한 개를 인식했으며 엔진은 열 개였습니다. Claude는 관대한데, 최상위 에세이에서는 그것이 맞고 다른 모든 곳에서는 틀립니다. GPT-4o mini는 열두 개 중 아홉 개에 9점을 줬습니다: 10점을 주지 않습니다.

일관성과 안정성

믿을 수 있는 채점자는 두 번 물어도 같은 답을 줘야 합니다. 대표 실행 이후 우리는 36개 에세이 전체를 서로 다른 날에 두 번 더 채점했습니다. 엔진은 86%, 89%, 86%를 기록했고, 매번 같은 열두 개의 중위 등급 에세이가 등급 안에 들어왔으며, 실행 간에 1점 넘게 움직인 에세이는 없었습니다. GPT 5.6 sol은 같은 사흘 동안 78%, 83%, 81%를 기록했습니다.

엔진은 채점 모델을 추론 기능을 끄고 고정된 온도로 실행하는데, 이것이 숫자를 재현 가능하게 만듭니다. 챗봇의 단일 답변에는 어느 방향으로든 몇 포인트의 운이 섞여 있습니다. 날이 바뀌어도 안정적인 점수는 계획을 세울 수 있는 점수입니다.

두 가지 과제, 두 가지 실수

CELPIP 라이팅에는 두 가지 과제가 있고, 각각 다른 방식으로 실패합니다. 이메일 과제는 상황과 함께 반드시 다뤄야 할 항목 서너 개를 줍니다. 설문 과제는 두 가지 선택지를 주고 하나를 골라 옹호하라고 합니다. 이 둘을 똑같이 취급하는 채점자는 둘 다 틀리게 됩니다.

이메일 과제에서 엔진은 에세이의 89%를 맞혔습니다. 여기서 응시자에게 가장 큰 손해를 끼치는 실수는 문법이 아닙니다. 빠진 항목, 읽는 사람에게 맞지 않는 어조, 또는 있어야 할 자리에 없는 인사말과 맺음말입니다. 규칙 레이어는 채점자가 의견을 내기 전에 이것들을 하나씩 확인하며, 빠진 항목이 있으면 영어가 아무리 매끄러워도 과제 수행 점수는 8점 이하로 제한됩니다. 평범한 말로 점수를 요청받은 챗봇은 항목을 붙여넣지 않는 한 어떤 항목이 필수였는지 알지 못하고, 붙여넣더라도 하나씩 확인하는 경우는 드뭅니다.

설문 과제에서 엔진은 에세이의 83%를 맞혔습니다. 설문 과제는 분명한 입장과 잘 전개된 이유 두 가지에 점수를 주고, 얼버무리는 응답에는 감점합니다. 엔진은 입장을 가장 먼저 읽습니다: 끝내 입장을 정하지 않는 응답은 과제 수행에서 중간 이상을 받을 수 없습니다. 챗봇은 균형 잡힌 답에 점수를 주는 경향이 있는데, 설문 응답에서 그것은 실수입니다.

과제를 아는 채점자의 핵심은 점수가 영어에 대한 일반적인 인상이 아니라 그 과제에서 채점관이 반응할 것을 반영한다는 점입니다. 중위 등급 이메일은 대개 세 번째 항목이 빈약해서 중위 등급이고, 중위 등급 설문 응답은 대개 이유를 주장만 하고 전개하지 않아서 중위 등급입니다. 엔진은 어느 쪽인지 콕 집어 알려줍니다.

엔진이 최고가 아닌 지점

엔진은 전체와 중간에서 앞섭니다. 양쪽 끝에서는 선두가 아니며, 평균 속에 숨기기보다 그렇다고 말하는 것이 공정합니다.

하위 에세이에서는 세 GPT 모델이 각각 83%, 엔진이 75%였습니다. 엔진이 놓친 경우는 모두 아무것도 전개하지 않은 짧고 정돈된 에세이에서 한 단계 높게 준 것입니다. 평범한 글을 약하다고 읽는 GPT 모델은 이런 에세이를 맞힙니다. 당신이 하위 등급이고 그 사실을 확인만 하고 싶다면 GPT 5.6 sol이 약간 더 자주 그렇게 해줄 것입니다. 그리고 열두 번 중 세 번은 중위 등급 글쓴이에게 6점이라고 말할 것입니다.

최상위 에세이에서는 Claude Opus 5가 92%, 엔진이 83%였습니다. Claude는 잘 다듬어진 글을 관대하게 읽는데, 최상위 에세이에서는 그것이 맞습니다. 같은 관대함이 중위 등급 에세이 열두 개 중 일곱 개에 9점이나 10점을 줬습니다. 이미 최상위 등급으로 쓰고 있다면 Claude Opus 5가 엔진보다 약간 더 자주 확인해 줄 것입니다. 그렇지 않다면 당신이 최상위라고 말할 가능성이 가장 높은 모델입니다.

엔진은 이 테스트에서 모든 등급에서 선두와 10포인트 이내에 있는 유일한 채점자이며, 중간에서 100%인 유일한 채점자입니다. 응시자에게 필요한 것이 바로 이 프로필입니다: 한 등급에서는 탁월하고 다른 등급에서는 틀리는 채점자가 아니라, 거의 모든 곳에서 맞고 대부분의 응시자가 있는 곳에서 맞는 채점자입니다.

엔진이 응답을 채점하는 방식

제출 버튼을 누르고 점수를 읽기까지 약 1분 동안 일어나는 일은 다음과 같습니다.

1. 규칙 레이어가 에세이를 먼저 읽습니다. 어떤 모델이 보기도 전에 엔진은 단어 수를 세고, 이메일에 인사말과 맺음말이 있는지 확인하고, 설문 응답에 분명한 선택이 있는지 확인하며, 에세이를 프롬프트의 필수 항목과 대조합니다. 이 검사는 채점자가 뒤집을 수 없는 확고한 상한이 됩니다: 끝내 한쪽을 고르지 않는 설문 응답이나 설문 답변처럼 읽히는 이메일은 과제 수행에서 척도의 중간 이상을 받을 수 없습니다.
2. 에세이를 실제로 채점된 예시와 비교합니다. 채점자는 같은 종류의 과제에 대한 실제 CELPIP 응답 세 개를 봅니다. 하나는 하위 등급, 하나는 중위, 하나는 최상위이며 모두 실제 실수가 그대로 담겨 있습니다. 그리고 네 가지 영역(내용과 일관성, 어휘, 가독성, 과제 수행) 각각에서 에세이를 이 예시들과 상대적으로 배치합니다. 중위 예시와 비슷하면 7점 또는 8점, 최상위 예시와 비슷하면 10점 또는 11점, 최상위 예시보다 확실히 뛰어나면 12점입니다.
3. 모든 판정에는 근거가 필요합니다. 각 영역에서 채점자는 점수를 주기 전에 그 점수를 뒷받침하는 에세이 속 표현을 인용해야 합니다. 에세이에서 찾을 수 없는 인용문은 폐기됩니다.
4. 놓친 항목이 점수 상한을 정합니다. 채점자가 필수 항목이 빠졌다고 보고하면 과제 수행 점수는 8점 이하로 제한되어, 숫자와 피드백이 서로 일치합니다.
5. 네 영역이 하나의 점수가 됩니다. 종합 점수는 규칙 레이어의 상한이 적용된 뒤 네 영역의 평균입니다.
6. 피드백은 같은 근거로 만들어집니다. 교정, 알맞은 길이의 모범 답안, 이름을 짚어 알려주는 놓친 항목, 영역별 제한 요인이 모두 글쓴이 자신의 글에서 인용됩니다. 무엇이 달라졌는지는 아래 섹션에서 정리합니다.

우리는 스피킹 채점기가 사용하는 채점자 두 명의 투표·조정 설계로 엔진을 옮기는 것도 테스트했습니다. 라이팅에는 도움이 되지 않았습니다. 공식 라이팅 등급은 스피킹 등급보다 0점에서 12점 척도에서 서로 더 가까이 붙어 있어서, 중간 선택지 없이 예시 중 하나를 고르도록 채점자를 강제하자 중위 등급 에세이가 9점으로 밀려 올라갔습니다. 라이팅 엔진은 중간을 정확하게 채점하는 설계를 유지합니다.

라이팅 피드백에서 새로워진 점

점수는 당신이 돌려받는 것의 절반에 불과합니다. 라이팅 피드백 레이어는 채점기와 함께 새로 만들어졌으며, 그 안의 모든 내용은 당신이 직접 쓴 글에 근거합니다. 무엇이 달라졌는지 살펴보겠습니다.

• 자신의 에세이에서 바로 찾을 수 있는 교정. 모든 문법, 철자, 어휘 교정은 당신의 응답에서 정확한 표현을 그대로 인용하므로, 앱이 당신이 쓴 그 자리에 바로 표시해 줄 수 있습니다. 검사기가 에세이에서 단어 그대로 찾아내지 못한 내용은 당신에게 보이기 전에 제거됩니다.
• 당신의 답안으로 만든 모범 답안. 당신의 아이디어를 그대로 유지하면서 요구된 모든 요점을 다루고, 과제가 요구하는 150~200단어 분량에 맞춘 재작성 버전을 받게 됩니다. 첫 번째 재작성이 이 분량을 벗어나면, 보여드리기 전에 한 번 더 다시 작성됩니다.
• 놓친 필수 요점을 이름 그대로. 이메일 과제에서는 피드백이 프롬프트의 요점 중 당신의 응답이 다루지 않은 것을 나열합니다. 요점을 하나라도 놓치면 과제 수행(task fulfillment) 점수는 8점 이하로 제한되므로, 숫자와 피드백이 서로 어긋나는 일이 없습니다.
• 영역마다 하나의 제한 요인. 네 가지 영역 각각에 대해 피드백은 그 점수를 끌어내리는 단 하나의 요인을 구체적으로 짚거나, 아무 문제도 없다면 그렇다고 분명히 말하고 무엇이 그 점수를 떠받치고 있는지 알려줍니다. 어떤 영역에 문제가 없다고 판단하는 것도 빈칸이 아니라 하나의 진짜 답입니다.
• 비판은 알맞은 자리에. 어조가 약한 것은 과제 수행 문제이고, 모호한 단어 선택은 어휘 문제이며, 끝없이 이어지는 문장은 가독성 문제입니다. 각 지적은 전체 요약에 뭉뚱그려지는 대신 그것을 담당하는 영역 아래에 정리됩니다.
• 문장 단위 재작성. 에세이의 특정 문장들이 개선된 버전과 함께, 왜 더 나은지 한 줄 설명을 달고 돌아옵니다. 그래서 변화에 대해 읽는 것이 아니라 변화를 직접 볼 수 있습니다.
• 가장 강한 영역과 가장 약한 영역을 나란히. 피드백은 네 가지 영역 중 어느 것이 당신의 점수를 떠받치고 어느 것이 발목을 잡고 있는지 알려주므로, 네 개의 숫자를 해독하지 않고도 다음에 무엇을 연습해야 할지 알 수 있습니다.

피드백의 모든 인용문은 표시되기 전에 당신의 에세이와 대조하여 확인됩니다. 검사기가 그 표현을 찾지 못하면 해당 줄은 제거됩니다. 그래서 피드백은 당신이 쓰지 않은 것을 고치라고 절대 말하지 않습니다.

점수를 어떻게 활용할 것인가

믿을 수 있는 점수는 연습 방식을 바꿉니다. 챗봇으로는 8점에서 9점으로 오른 것이 당신 때문인지 모델 때문인지 확신할 수 없어서, 모든 점수를 느낌으로 다시 검증해야 합니다. 안정적이고 정확한 채점자가 있으면 점수 자체가 피드백입니다.

• 같은 과제를 두 번 쓰세요. 제출하고, 놓친 항목과 영역별 제한 요인을 읽고, 모범 답안을 옆에 두고 다시 쓴 뒤 다시 제출하세요. 두 번 사이에 1점 이상 달라졌다면 그것은 당신의 글이 달라진 것입니다. 엔진은 같은 에세이에 같은 점수를 주기 때문입니다.
• 총점이 아니라 가장 약한 영역을 추적하세요. 종합 점수는 네 영역의 평균입니다. 8점을 받은 두 응시자가 완전히 다른 문제를 갖고 있을 수 있습니다. 피드백은 당신의 발목을 잡는 영역을 지목하며, 그것이 바로 집중해야 할 영역입니다.
• 9점은 아깝게 놓친 것으로 여기세요. 엔진이 최상위 에세이에서 놓친 두 번 모두 9점이었습니다. 엔진이 준 9점은 잘 전개된 이유 하나 또는 정확한 단어 선택 하나가 10점에 모자란다는 뜻입니다.
• 두 과제를 번갈아 하세요. 대부분의 응시자는 좋아하는 과제만 연습합니다. 엔진은 이메일과 설문 응답을 서로 다른 예시와 서로 다른 규칙으로 채점하므로, 이메일에서 높은 점수를 받았다고 설문 응답에 대해 알 수 있는 것은 없습니다.

월 CA$25로 무제한 연습

정확도는 매일 쓸 수 있는 가격일 때만 유용합니다. 믿을 수 있는 라이팅 점수는 세 번째 에세이가 아니라 서른 번째 에세이에서 가장 가치가 있습니다. 그때가 바로 글 쓰는 방식의 변화가 효과가 있는지 알려주기 시작하는 시점이기 때문입니다. 그래서 엔진은 횟수를 세지 않고 쓸 수 있도록 가격이 책정되었습니다.

모든 Prepamigo 요금제에는 무제한 채점, 무제한 시도, 그리고 전체 문제 은행이 포함됩니다: Writing, Speaking, Reading, Listening 전 영역에 걸쳐 80개의 완성된 연습 세트와 2,000개 이상의 연습 과제로, CELPIP General 시험의 과제 유형, 시간 배분, 형식을 따르도록 작성되었습니다. 쓰고, 제출하면, 약 1분 뒤에 점수와 교정과 모범 답안이 나옵니다.

Claude 요금제 가격과 사용 조건은 2026년 9월 claude.com에 게시된 기준이며 변경될 수 있습니다. CELPIP은 해당 소유자의 상표입니다. Prepamigo는 독립적인 연습 플랫폼이며 시험 주관 기관과 제휴, 보증 또는 연관 관계가 없습니다. Prepamigo 연습 과제는 공개된 시험 형식을 따르도록 작성된 자체 제작 자료입니다.

이용 안내

Prepamigo Writing Scoring Engine은 지금 모든 Prepamigo 사용자에게 두 가지 라이팅 과제 모두에서 적용되고 있습니다. 따로 켤 것은 없습니다. 모든 이메일과 설문 응답이 이 엔진으로 채점되며, 모든 점수에는 글쓴이 자신의 글에서 가져온 피드백이 함께 제공됩니다.

직접 비교를 보려면 라이팅에서 Prepamigo vs Claude와 라이팅에서 Prepamigo vs ChatGPT를 읽어보세요. 스피킹 쪽은 스피킹용 Scoring Engine 2.0을 읽어보세요. 아니면 응답 작성하기로 엔진이 작동하는 모습을 직접 확인해 보세요. 영어로 이 가이드 읽기