कौन सा AI CELPIP Speaking को सबसे सटीक तरीके से स्कोर करता है? हमने आठ मॉडल टेस्ट किए

अब कई CELPIP उम्मीदवार अपनी स्पीकिंग प्रैक्टिस को खुद किसी AI चैटबॉट से स्कोर कराते हैं। जवाब रिकॉर्ड करें, उसे ट्रांसक्राइब करें, पेस्ट करें, और स्कोर मांगें। यह तेज़ है, मुफ़्त या लगभग मुफ़्त है, और स्पष्टीकरण भी भरोसेमंद लगते हैं। जो कोई नहीं बताता वह यह है कि नंबर कितनी बार सही होता है, किस मॉडल पर भरोसा किया जाए, या क्या पूछने का तरीका बदलने से जवाब बदल जाता है। हम यह जानना चाहते थे, इसलिए हमने एक टेस्ट बनाया और उसे आठ सिस्टम पर, दो तरीकों से चलाया।

पहला तरीका ऊपर दिए गए चार्ट में है: ट्रांसक्रिप्ट पेस्ट करें, स्कोर मांगें — वैसे ही जैसे एक स्टूडेंट करता है। जनरल-पर्पस मॉडलों में, Claude Opus 5 सबसे सटीक रहा, 62% के साथ, इसके बाद Gemini 58% पर रहा, और बाकी सब आधे से नीचे रहे: Claude Sonnet 5 और GPT-4o mini 45% पर, GPT 5.5 37% पर, GPT 5.6 sol 35% पर, GPT 5.6 luna 31% पर। एक खास तौर से बनाया गया सिस्टम, Prepamigo Scoring Engine 2.0, इन्हीं जवाबों पर 81% तक पहुंचा।

दूसरा तरीका, जो हमें सबसे ज़्यादा जानकारीपूर्ण लगता है: हमने हर मॉडल को अपनी ग्रेडिंग प्रक्रिया दी, असली कैलिब्रेशन उदाहरणों और एक फोर्स्ड तुलना के साथ, यह देखने के लिए कि हर मॉडल अपने बेहतरीन रूप में कितना अच्छा हो सकता है। हर मॉडल बेहतर हुआ, कुछ तो नाटकीय रूप से, और फिर भी हर मॉडल Engine 2.0 से पीछे ही रहा। हमें साफ बता देना चाहिए कि Prepamigo हमारा अपना प्रोडक्ट है। हमने दोनों टेस्ट को बाकी सभी के लिए निष्पक्ष बनाने की कोशिश की है, और जहां किसी मॉडल ने किसी खास लेवल पर हमें पीछे छोड़ा, वहां हमने वह बात खुलकर कही है।

प्लेन-प्रॉम्प्ट लीडरबोर्ड

ऊपर दिए गए चार्ट में तीन स्तर साफ दिखते हैं। Engine 2.0 81% के साथ अकेला सबसे ऊपर है। Claude Opus 5 62% और Gemini 58% पर दूसरा स्तर बनाते हैं: इस्तेमाल के लायक, अगर आप पांच में से दो बार गलत होना स्वीकार कर सकते हैं। बाकी सब 50% से नीचे हैं, यानी अगर आपको जवाब के बारे में कुछ भी पता न हो और आप तीन बैंड में से किसी एक पर सिक्का उछालकर अंदाज़ा लगाएं, तो वह इससे भी बेहतर होगा।

यही प्लेन टेस्ट की सबसे बड़ी खासियत है: हर जनरल-पर्पस मॉडल सख्ती से स्कोर करता है। किसी वेरिफाइड टॉप-लेवल जवाब को दिया गया औसत स्कोर 7.2 (luna) से 8.6 (Opus 5) के बीच रहा। किसी वेरिफाइड लोअर-लेवल जवाब को दिया गया औसत स्कोर 3.7 से 4.3 के बीच रहा, जो Opus 5 और Gemini को छोड़कर बाकी सबके लिए बैंड से नीचे है। हर लेवल असल में कैसा सुनाई देता है, इसका कोई उदाहरण न होने पर, मॉडल जवाब की तुलना एक कल्पित परफेक्ट जवाब से करते हैं और अंक काट देते हैं।

हर स्कोर लेवल पर नतीजे

एक ओवरऑल आंकड़ा यह छुपा देता है कि गलतियां कहां हो रही हैं, और वे कहां हो रही हैं, यही तय करता है कि कोई ग्रेडर आपके लिए काम का है या नहीं। यहां प्लेन-टेस्ट के नतीजे बैंड के हिसाब से दिए गए हैं।

कमज़ोर जवाबों को स्केल का सबसे आसान हिस्सा होना चाहिए, लेकिन प्लेन प्रॉम्प्ट के साथ ऐसा नहीं होता। Engine 2.0, 88% पर है, Opus 5, 77% पर, GPT-4o mini 75% पर। बाकी सब लगभग आधे पर हैं, और Sonnet 5, 44% पर है। चूक लगभग हमेशा 3 की होती है: मॉडल एक कमज़ोर जवाब देखता है और उसे बैंड के भीतर रखने के बजाय उससे नीचे स्कोर कर देता है। GPT-4o mini का यहां का सम्मानजनक आंकड़ा असल में उसकी समस्या का पहला संकेत है, जो यह है कि वह लगभग हर चीज़ को कम स्कोर देता है।

मिडल बैंड मॉडलों के बीच का फर्क साफ दिखा देता है। Engine 2.0, 85% पर है। Gemini और Sonnet 5, 63% पर हैं, Opus 5, 58% पर। इसके बाद एक बड़ी गिरावट आती है: GPT-4o mini 44% पर और तीनों बड़े GPT मॉडल 27% से 29% के बीच। मिडल-लेवल जवाबों में मजबूतियों और कमज़ोरियों का असली मिश्रण होता है जिसे तराज़ू पर तोलना पड़ता है, और तुलना के लिए कुछ न होने पर, GPT मॉडल सिर्फ कमज़ोरियां देखते हैं और 5 या 6 दे देते हैं। एक 7 या 8 वाला स्पीकर जब GPT 5.6 sol से स्कोर मांगेगा, तो उसे दस में से तीन बार से भी कम सही बैंड सुनने को मिलेगा।

टॉप बैंड ही वह जगह है जहां अंतर सबसे ज़्यादा मायने रखता है, और जहां प्लेन प्रॉम्प्ट सबसे ज़्यादा नुकसान करता है। Engine 2.0, 71% टॉप-लेवल जवाबों को पहचानता है। Gemini 56% पहचानता है और Opus 5 ठीक आधे। फिर Sonnet 5, 29% पर, GPT 5.5, 27% पर, GPT 5.6 sol, 25% पर, GPT-4o mini 17% पर और GPT 5.6 luna 13% पर। सात में से पांच जनरल-पर्पस मॉडल उन जवाबों को भी, जो 10 के लायक हैं, दस में से कम से कम सात बार 7 या 8 दे देते हैं।

अगर आप एक मजबूत उम्मीदवार हैं और खुद को किसी चैटबॉट से स्कोर कर रहे हैं, तो यही वह आंकड़ा है जो याद रखने लायक है। GPT 5.6 sol से सीधे पूछने पर उसके यह बताने की संभावना कि 10 वाला जवाब असल में 10 ही है, चार में से सिर्फ एक है।

दूसरा लीडरबोर्ड: हमारी पूरी प्रक्रिया के साथ

प्लेन-टेस्ट के आंकड़े यह नहीं बताते कि ये मॉडल कितने समझदार हैं। ये बताते हैं कि जब किसी मॉडल से बिना किसी तुलना के नंबर मांगा जाता है, तो क्या होता है। इसलिए हमने दूसरा टेस्ट चलाया, जिसमें हर मॉडल को वे कैलिब्रेशन उदाहरण और फोर्स्ड तुलना दी गई जो Engine 2.0 के अपने ग्रेडर इस्तेमाल करते हैं।

हर मॉडल बेहतर होता है। Opus 5, 62% से 77% तक जाता है। GPT 5.6 sol दोगुना होता है, 35% से 71% तक। GPT 5.5, 37% से 69% तक जाता है, Sonnet 5, 45% से 69% तक, luna, 31% से 63% तक, Gemini, 58% से 71% तक। GPT-4o mini मुश्किल से हिलता है, 45% से सिर्फ 50% तक, क्योंकि उसे जो भी दिखाया जाए, वह हर चीज़ को कम ही स्कोर करता है।

क्रम भी बदल जाता है। प्लेन प्रॉम्प्ट के साथ, Claude मॉडल GPT मॉडलों से बहुत आगे थे। पूरी प्रक्रिया के साथ, GPT 5.6 sol, Sonnet 5 से आगे निकल जाता है और Gemini के बराबर आ जाता है, और चार मॉडल 69% से 71% के बीच इकट्ठा हो जाते हैं, जो इस सैंपल पर सांख्यिकीय रूप से अलग नहीं किए जा सकते। Opus 5, 77% के साथ जनरल-पर्पस मॉडलों में सबसे आगे रहता है, Engine 2.0 से चार अंक पीछे।

लेवल के हिसाब से देखें तो, पूरी प्रक्रिया चार मॉडलों की लोअर-बैंड सटीकता को 88% तक ले जाती है, ठीक Engine 2.0 जितनी, और दोनों Claude मॉडलों की मिडल-बैंड सटीकता को 81% तक। टॉप बैंड ही वह जगह है जहां अंतर बना रहता है: Opus 5, GPT 5.6 sol, Gemini और GPT 5.5 सभी 63% पर रुक जाते हैं, Sonnet 5, 38% पर, और GPT-4o mini शून्य पर, जबकि Engine 2.0, 71% पर है। एक मॉडल का एक ही पास अब भी किसी मजबूत जवाब में मामूली चूक होने पर स्कोर रोक लेता है। Engine 2.0 इस बाकी बचे अंतर को दो अलग-अलग प्रोवाइडर के स्वतंत्र ग्रेडर, हर एक से तीन वोट जिनमें से बीच वाला रखा जाता है, और एक ऐसे रिकंसीलिएशन रूल से पाटता है जो दोनों ग्रेडरों में तेज़ असहमति होने पर ज़्यादा स्कोर को अपनाता है, क्योंकि विश्लेषण से पता चला कि मजबूत जवाबों पर कम वाला फैसला लगभग हमेशा गलत होता था।

मॉडल कम और बीच की ओर क्यों झुक जाते हैं

यह पैटर्न तीन अलग-अलग कंपनियों के मॉडलों में इतना एक जैसा है कि यह किसी एक मॉडल की अजीबियत नहीं हो सकती। यह इस टास्क की ही एक खासियत है।

जब किसी मॉडल से किसी जवाब को स्केल पर रखने को कहा जाता है, तो अनिश्चित होने पर वह बीच की तरफ झुक जाता है, क्योंकि बीच में ही गलत जवाब की कीमत सबसे कम होती है। और जब उसके पास यह उदाहरण नहीं होता कि कोई लेवल असल में कैसा सुनाई देता है, तो वह जवाब की तुलना एक कल्पित परफेक्ट जवाब से करता है और हर चूक पर अंक काट देता है। कोई टॉप-लेवल जवाब कभी पूरी तरह बेदाग नहीं होता। उसमें एक दोबारा शुरुआत, जटिल वाक्यों के बीच कोई सादा वाक्य, किसी मुश्किल शब्द से पहले एक ठहराव — यह सब होता है। परफेक्शन के मुकाबले मापने पर, ये चूकें एक-दो कदम की कीमत ले लेती हैं, और 10 का जवाब 8 या 7 बन जाता है।

निर्देश देने से यह समस्या ठीक नहीं होती। हमने मॉडलों को साफ-साफ बताकर देखा कि लेवल 9 के लिए बिल्कुल गलती-रहित जवाब ज़रूरी नहीं है, और किसी मजबूत जवाब को कम स्कोर करना भी किसी कमज़ोर जवाब को ज़्यादा स्कोर करने जितना ही गंभीर है। हर निर्देश स्वीकार तो हो गया, लेकिन व्यवहार में नज़रअंदाज़ कर दिया गया। जब हमने किसी मॉडल को वही कैलिब्रेशन उदाहरण दिया, जिसे उसे टॉप-लेवल जवाब बताया गया था, और उसे स्कोर करने को कहा, तो उसने उसे 8 दे दिया।

जो चीज़ इसे ज़्यादातर ठीक करती है, वह है सवाल को “कितना नंबर?” से बदलकर “कौन सा उदाहरण?” कर देना, और असली उदाहरण देना। यही दोनों लीडरबोर्ड के बीच का अंतर है। फिर भी, एक ही पास थोड़ा भटक जाता है, क्योंकि कैलिब्रेशन उदाहरण परफेक्ट नहीं होते और उन्हें एक बार पढ़ना सिर्फ एक ही नज़रिया देता है। बाकी बचा अंतर दो ग्रेडर, तीन वोट और एक रिकंसीलिएशन रूल से पटता है।

हर मॉडल पर नोट्स

• Claude Opus 5. दोनों टेस्ट पर सबसे बेहतर जनरल-पर्पस ग्रेडर: प्लेन टेस्ट में 62% (तीन रन में 62%, 65% और 58%) और पूरी प्रक्रिया के साथ 77%। इसकी प्लेन-प्रॉम्प्ट कमज़ोरी मिडल बैंड है, जहां यह 6 दे देता है; इसकी फुल-प्रोसीजर कमज़ोरी टॉप बैंड है, जहां यह 63% पर रुक जाता है। यह यहां मौजूद सबसे महंगा मॉडल भी है, और काफी बड़े अंतर से।
• Gemini. प्लेन टेस्ट में 58% के साथ दूसरे स्थान पर, तीनों रन में एक जैसा, और बैंड के हिसाब से सबसे संतुलित, 56%, 63% और 56% के साथ। पूरी प्रक्रिया और ऑडियो रिकॉर्डिंग के साथ यह 71% तक पहुंचा, GPT 5.6 sol के बराबर, जिसने सिर्फ टेक्स्ट से काम किया। रिकॉर्डिंग सुनने से इसे शब्द-दर-शब्द ट्रांसक्रिप्ट से मिलने वाले फायदे से ज़्यादा कुछ नहीं मिला।
• Claude Sonnet 5. प्लेन टेस्ट में 45%, और एक अजीब प्रोफ़ाइल के साथ: मिडल बैंड में ठीक-ठाक, 63% पर, कमज़ोर जवाबों पर खराब, 44% पर, क्योंकि यह उन्हें 3 दे देता है, और टॉप पर खराब, 29% पर। पूरी प्रक्रिया के साथ यह 69% तक चढ़ता है लेकिन टॉप-लेवल जवाबों पर 38% पर ही रहता है। अगर Sonnet 5 आपको बार-बार 8 दे रहा है, तो उस पर भरोसा न करें।
• GPT-4o mini. प्लेन टेस्ट में 45%, पूरी प्रक्रिया के साथ 50%, और दोनों ही मामलों में यह आंकड़ा इसे ज़रूरत से ज़्यादा अच्छा दिखाता है। यह लगभग हर चीज़ को कम स्कोर करता है: कमज़ोर जवाबों पर 75%, और टॉप-लेवल जवाबों पर 17% और फिर 0%। कुछ भी हो जाए, अपनी स्पीकिंग को इस मॉडल से स्कोर न कराएं।
• GPT 5.5. प्लेन टेस्ट में 37% (35%, 42%, 33%), पूरी प्रक्रिया के साथ 69%। इसका प्लेन-प्रॉम्प्ट मिडल बैंड स्कोर 29% है। यह हमारी अपनी पाइपलाइन के पहले वर्शन में टेक्स्ट ग्रेडर था, और ठीक इसी बैंड में कमज़ोरी की वजह से इसे बदल दिया गया था।
• GPT 5.6 sol. प्लेन टेस्ट में 35% (31%, 40%, 35%), जो किसी भी मॉडल में रन-से-रन की सबसे बड़ी उछाल है, और पूरी प्रक्रिया के साथ 71%, जो किसी भी मॉडल का सबसे बड़ा सुधार है। उदाहरण दिखाए जाने पर एक सक्षम ग्रेडर, और न दिखाए जाने पर एक कमज़ोर ग्रेडर। इसकी फुल-प्रोसीजर आदत मिडल बैंड में चमक-दमक को ज़रूरत से ज़्यादा इनाम देने की है।
• GPT 5.6 luna. दोनों टेस्ट में सबसे आखिरी: प्लेन टेस्ट में 31% और पूरी प्रक्रिया के साथ 63%। यह मिडल जवाबों को खींचकर 5 की तरफ ले जाता है और प्लेन टेस्ट में सिर्फ 13% टॉप-लेवल जवाबों को पहचानता है। दो-ग्रेडर सिस्टम में दूसरी राय के तौर पर काम आने के लिए काफी सस्ता है; अकेले इस्तेमाल के लिए काफी सटीक नहीं है।

एक खास तौर से बनाया गया सिस्टम क्या जोड़ता है

Engine 2.0 कोई बेहतर मॉडल नहीं है। यह इसी लीडरबोर्ड के मॉडलों का इस्तेमाल करता है। यह जो जोड़ता है वह है प्रक्रिया, और इस प्रक्रिया का हर हिस्सा माप-तौल के आधार पर चुना गया है।

1. शब्द-दर-शब्द ट्रांसक्रिप्शन, खुद-ब-खुद। हर फिलर और दोबारा शुरू की गई बात बनी रहती है, क्योंकि उन्हें हटाने से टेस्टिंग में सटीकता पंद्रह अंक तक गिर गई। आपको ऐसा कोई ट्रांसक्रिप्शन टूल ढूंढने की ज़रूरत नहीं है जो यह करता हो; ज़्यादातर कंज़्यूमर टूल डिफ़ॉल्ट रूप से इन्हें साफ कर देते हैं।
2. हर टास्क के साथ जुड़े कैलिब्रेशन उदाहरण। आठों टास्क टाइप में से हर एक के लिए, हर लेवल के दो असली जवाब पहले से मौजूद हैं। यही एक इनपुट है जिसने GPT 5.6 sol की सटीकता को दोगुना कर दिया, और यही वह चीज़ है जिसे आप घर पर तैयार नहीं कर सकते।
3. एक तुलना, नंबर नहीं। हर ग्रेडर चार डाइमेंशन में से हर एक पर सबसे नज़दीकी उदाहरण बताता है; स्कोर एक नियम के तहत खुद-ब-खुद निकलता है। यही वह चीज़ है जो भटकाव को रोकती है।
4. दो प्रोवाइडर से दो ग्रेडर। अलग-अलग मॉडलों की अलग-अलग कमज़ोरियां होती हैं। एक तय नियम से मिलाए गए दो मॉडल, अकेले किसी एक मॉडल से बेहतर नतीजे देते हैं।
5. हर एक से तीन वोट, बीच वाला रखा जाता है। इससे सटीकता नहीं बढ़ी, लेकिन रन-से-रन की एकरूपता 77% से 87.5% तक पहुंच गई। किसी चैटबॉट का एक जवाब बस एक वोट होता है।
6. तेज़ असहमति होने पर ज़्यादा स्कोर लेने वाला रिकंसीलिएशन। क्योंकि मजबूत जवाबों पर कम वाला फैसला लगभग हमेशा गलत होता था। टेस्टिंग में एक सीधा औसत साठ के दशक के बीच तक गिर गया।
7. सेफगार्ड। खामोशी, कुछ ही शब्द, टॉपिक से हटकर या अंग्रेज़ी न होने वाले जवाबों को किसी मॉडल के अंदाज़े से नहीं, बल्कि एक तय नियम के तहत सबसे कम फ्लोर स्कोर मिलता है।

नतीजा है ओवरऑल 81% और टॉप पर 71%, तीन अलग-अलग रन में एक जैसा, और हर जवाब पर लगभग दस सेकंड में, कुछ भी पेस्ट किए बिना।

अगर आप फिर भी चैटबॉट इस्तेमाल करने वाले हैं

कुछ पाठक फिर भी चैटबॉट से ही स्कोर कराते रहेंगे, और सीमित बजट वाले उम्मीदवार के लिए, या जो अपने जवाबों पर बातचीत करके समझना चाहता है, उसके लिए यह एक जायज़ फैसला है। यहां दिए कदम ही दोनों लीडरबोर्ड के बीच का फर्क हैं, और ये आपको पहले लीडरबोर्ड से ज़्यादा दूसरे के करीब ले जाएंगे।

1. शब्द-दर-शब्द ट्रांसक्रिप्ट इस्तेमाल करें। अपनी फिलर्स, दोबारा शुरुआत और खुद की गई सुधारों को बनाए रखें। अगर आपका ट्रांसक्रिप्शन टूल इन्हें साफ कर देता है, तो ग्रेडर आपके दिए जवाब से बेहतर जवाब को स्कोर कर रहा है।
2. इसे उदाहरण दें, रूब्रिक नहीं। उसी टास्क टाइप के हर लेवल के एक-दो असली जवाब, जिनके लेवल साफ लिखे हों, यह किसी भी वर्णन से कहीं ज़्यादा असर करते हैं कि लेवल 9 कैसा दिखता है। अगर आपके पास वेरिफाइड उदाहरण नहीं हैं, तो यही वह कदम है जिसे आप घर पर दोहरा नहीं सकते, और यही सबसे ज़्यादा मायने रखता है।
3. कौन सा उदाहरण पूछें, कितना नंबर नहीं। चार डाइमेंशन में से हर एक के लिए, मॉडल से सबसे नज़दीकी उदाहरण बताने को कहें और “बीच में” कहने की मनाही करें। जो लेवल वह बताता है, उनसे स्कोर आप खुद निकालें।
4. एक से ज़्यादा बार पूछें। एक ही जवाब को नई-नई बातचीत में दो-तीन बार स्कोर करवाएं और बीच वाला जवाब रखें। प्लेन टेस्ट में GPT 5.6 sol रन-दर-रन नौ अंक तक झूल गया था।
5. टॉप-बैंड पर अच्छा रिकॉर्ड रखने वाला मॉडल चुनें। सीधे पूछने पर Opus 5 या Gemini; उदाहरण होने पर Opus 5 या GPT 5.6 sol। अगर आप 10 के आस-पास कहीं भी हैं, तो GPT-4o mini कभी नहीं।
6. 7 या 8 पर शक करें। हर जनरल-पर्पस मॉडल पर, अगर आपको लगता था कि आपका जवाब शानदार था और उसे 7 या 8 मिला, तो यह किसी सही फैसले से ज़्यादा एक चूक होने की संभावना रखता है।

आप कहां खड़े हैं, इसके हिसाब से किस मॉडल पर भरोसा करें

इन लीडरबोर्ड को सही तरीके से पढ़ना आपके मौजूदा लेवल पर निर्भर करता है, क्योंकि मॉडल अलग-अलग जगहों पर चूकते हैं।

• अगर आज आप 4 या 5 पर हैं, तो सीधे पूछने पर Opus 5 आपको चार में से लगभग तीन बार सही बताएगा; ज़्यादातर दूसरे मॉडल आपको लगभग आधी बार 3 कह देंगे। आपकी समस्या असल में ग्रेडर नहीं है; यह फीडबैक की समस्या है, और उसके लिए आपको वह चाहिए जो सिर्फ संक्षेप में बताने के बजाय आपके अपने शब्द वापस उद्धृत करे।
• अगर आप 7 या 8 पर हैं, तो प्लेन प्रॉम्प्ट के साथ GPT मॉडलों से बचें, जो दस में से सात बार आपको 5 या 6 कह देंगे। Gemini और Sonnet 5, मिडल बैंड में 63% के साथ सबसे भरोसेमंद प्लेन-प्रॉम्प्ट ग्रेडर हैं। Engine 2.0, 85% पर है।
• अगर आप 10 या उससे ऊपर हैं, तो यहीं पर चुनाव सबसे ज़्यादा मायने रखता है। सीधे पूछने पर, कोई भी जनरल-पर्पस मॉडल 10 को 56% से ज़्यादा बार नहीं पहचानता, और GPT मॉडल यह 13% से 27% के बीच ही कर पाते हैं। Engine 2.0 दस में से सात बार पहचानता है और, इससे भी ज़्यादा ज़रूरी बात, हर बार पूछने पर वही जवाब देता है।

तीनों बैंड में यही पैटर्न दिखता है, जिसे यह पूरा लेख शुरू से बता रहा है। मॉडल बेवकूफ नहीं हैं; वे सतर्क हैं, और तुलना के लिए कुछ न होने पर सतर्कता का मतलब है कम नंबर। आप बीच से जितना दूर होंगे, ग्रेडर की सतर्कता आपको उतनी ही महंगी पड़ेगी, और यह उतना ही मायने रखेगा कि ग्रेडर को इस सतर्कता के खिलाफ खड़ा रहने के लिए ही बनाया गया हो।

आपके फ़ीडबैक में क्या नया है

Engine 2.0 के साथ एक नया बनाया गया फ़ीडबैक लेयर आता है। यह सिर्फ़ स्कोर नहीं, बल्कि दोनों ग्रेडर के सबूत को पढ़ता है, और इसे तीन तरह के स्टूडेंट पर टेस्ट किया गया है: कोई जो पहली बार CELPIP का सामना कर रहा है, कोई जिसकी अंग्रेज़ी कमज़ोर है और जो कोई ट्रिक ढूंढ रहा है, और कोई जिसके पास दिन में सिर्फ़ आधा घंटा है और अगले हफ़्ते टेस्ट है। यहां बताया गया है कि क्या बदला है।

• आपके अपने शब्द, वापस कोट किए गए. फ़ीडबैक का हर पॉइंट आपकी ट्रांसक्रिप्ट के उस ठीक वाक्यांश का हवाला देता है जिस पर ग्रेडर ने प्रतिक्रिया दी। अगर कोई वाक्यांश कोटेशन मार्क्स में है, तो वह जैसा-का-वैसा कॉपी किया गया है; हमारे ऑडिट में 158 में से 157 कोट ऐसे ही थे। फ़ीडबैक कभी वह नहीं बनाता जो आपने कहा ही नहीं।
• पहले ठीक करने के लिए एक चीज़. हर जवाब को एक ही टॉप मूव मिलता है: वह एक बदलाव जो आपका स्कोर सबसे ज़्यादा बढ़ाएगा, पेज पर सबसे सीधे शब्दों में लिखा हुआ। इसके बाद दो और ठोस कदम आते हैं, फिर बोलना शुरू करने से पहले दिमाग में दोहराने के लिए तीन पॉइंट की एक चेकलिस्ट।
• टास्क के हिसाब से सलाह. सलाह देना, किसी सीन का वर्णन करना और किसी को मनाना, इन सबका स्कोर अलग-अलग बातों पर होता है। फ़ीडबैक को अब पता है कि आठ टास्क टाइप में से हर एक किस चीज़ का इनाम देता है, और वह उसी पर बात करता है, बजाय इसके कि हर टास्क पर एक जैसी सामान्य टिप्स दोहराई जाएं।
• किस डाइमेंशन का पहले अभ्यास करें. फ़ीडबैक आपको बताता है कि चार डाइमेंशन में से कौन-सा आपका सबसे कमज़ोर है और कौन-सा सबसे मज़बूत, ताकि आपको पता हो कि अगला पॉइंट कहां से मिलेगा, बिना उसे किसी नंबर के पीछे छिपाए।
• टास्क ने क्या मांगा और आपसे क्या छूट गया. टास्क फ़ुलफ़िलमेंट के लिए, फ़ीडबैक प्रॉम्प्ट के उन खास हिस्सों की सूची देता है जो आपने कवर नहीं किए, या साफ़ शब्दों में कहता है कि आपने सब कुछ कवर कर लिया।
• ऐसी चीज़ें जिनका आप असल में अभ्यास कर सकते हैं. हर सुझाव कुछ ऐसा है जो आप अपने अगले प्रयास से पहले ज़ोर से बोलकर देख सकते हैं। ज़्यादा साफ़ बोलने या अपना एक्सेंट कम करने की कोई सलाह नहीं: लिसनेबिलिटी एक्सेंट को नहीं मापती, और फ़ीडबैक उस पर कभी कोई टिप्पणी नहीं करता।
• टाइमर के लिए कोई दोष नहीं. अगर टास्क पूरा होने के बाद घड़ी की वजह से जवाब कट जाता है, तो उस कट-ऑफ़ के लिए अंक नहीं काटे जाते, और फ़ीडबैक इसके लिए आपको नहीं डांटता।

जब एक स्वतंत्र जजिंग मॉडल ने इस फ़ीडबैक की तुलना हमारे पुराने सिस्टम द्वारा उन्हीं जवाबों के लिए बनाए गए फ़ीडबैक से की, बिना यह जाने कि कौन-सा कौन-सा है, तो उसने 24 में से 20 तुलनाओं में नए फ़ीडबैक को प्राथमिकता दी — एक परीक्षक की तरह जज करते हुए भी और एक स्टूडेंट की तरह जज करते हुए भी।

अक्सर पूछे जाने वाले सवाल

CELPIP speaking स्कोर करने में कौन सा AI मॉडल सबसे सटीक है? सीधे पूछने पर: Claude Opus 5, 62% पर; Gemini, 58% पर; Claude Sonnet 5 और GPT-4o mini, 45% पर; GPT 5.5, 37% पर; GPT 5.6 sol, 35% पर; GPT 5.6 luna, 31% पर। Prepamigo Scoring Engine 2.0 इन्हीं जवाबों पर 81% तक पहुंचा।

ChatGPT या Claude? सीधे पूछने पर साफ तौर पर Claude आगे है: 62% और 45% बनाम 35% और 37%। हमारी पूरी प्रक्रिया के साथ यह अंतर घटकर Opus 5 के 77% बनाम GPT 5.6 sol के 71% रह जाता है।

मेरे मजबूत जवाबों को सब 7 या 8 ही क्यों देते हैं? तुलना के लिए कुछ न होने पर मॉडल कम और बीच की तरफ झुककर अंदाज़ा लगाते हैं, और एक मजबूत जवाब में भी हमेशा छोटी चूकें होती हैं। सीधे पूछने पर, किसी भी जनरल-पर्पस मॉडल ने 56% से ज़्यादा टॉप-लेवल जवाबों को नहीं पहचाना।

चैटबॉट से बेहतर स्कोर कैसे पाएं? शब्द-दर-शब्द ट्रांसक्रिप्ट, हर लेवल के उदाहरण जवाब, नंबर की जगह कौन सा उदाहरण पूछना, और एक से ज़्यादा बार पूछकर बीच वाला जवाब रखना। हमारे टेस्ट में इस प्रक्रिया ने GPT 5.6 sol को 35% से 71% तक, यानी दोगुना कर दिया।

दो हेड-टू-हेड तुलनाओं को करीब से देखने के लिए, Prepamigo vs Claude और Prepamigo vs ChatGPT पढ़ें। यह प्रक्रिया चरण-दर-चरण कैसे काम करती है, यह जानने के लिए Scoring Engine 2.0 के भीतर पढ़ें। अगर आप यह लेख अंग्रेज़ी में पढ़ना चाहें, तो इसे अंग्रेज़ी में पढ़ें पर जाएं। या एक जवाब रिकॉर्ड करें और ट्रांसक्रिप्शन को छोड़ दें।