دروس من تصحيح الامتحانات بالذكاء الاصطناعي
نصحّح امتحانات الفرنسية المنطوقة والمكتوبة بالذكاء الاصطناعي. متعلمونا يستعدّون لامتحانات اللغة التي تقبلها كندا للإقامة الدائمة، لذلك الدرجة الخاطئة ليست مجرد إزعاج أكاديمي. الناس يحجزون مواعيد الامتحانات ويبنون قرارات عائلية على المستوى الذي نُبلغهم به.
هذا الضغط علّمنا شيئًا غير مريح: عندما يفشل تقييم الذكاء الاصطناعي، نادرًا ما يكون الفشل مرئيًا. إنه يفشل بأدب، ومع الفشل يأتي رقم يبدو واثقًا. إليك أنماط الفشل الخمسة التي صادفناها أثناء التشغيل الفعلي، وإجراء الحماية الذي نعتمده الآن لكل نمط. لا يختص أيٌّ منها بالفرنسية، ولا حتى باختبارات اللغة عمومًا. إذا كان فريق التعلّم والتطوير في مؤسستك يصحّح أي شيء باستخدام نموذج، سواء كان اختبار شهادة أو تقييم مهارات، فإنّ نسخةً من هذه المشكلات بانتظاركم.
١. النموذج يقيّم الصمت بثقة
أسوأ حادثة في عملنا بدأت بمتعلمين لم تلتقط ميكروفوناتهم الصوت أبدًا. كان التسجيل صمتًا أو شبه صمت. لم يُرجع نموذج تحويل الكلام إلى نص نصًا فارغًا، بل أعاد جملًا حقيقية.
نماذج الكلام تُدرَّب على وسائط مترجمة، لذلك عندما تسمع لا شيء، فإنها أحيانًا تنتج النص الذي يرافق الصوت الهادئ في بيانات التدريب: سطور الترجمة. نموذجنا أعاد سطر الترجمة الخاص بهيئة الإذاعة الكندية مقابل صمت تام. وبعدها قام نموذج التصحيح بتقييم تلك العبارة بجدية كعينة تحدث، وأعطاها أدنى مستوى في السلم. عشرات المتعلمين، بعضهم من متحدثي الفرنسية الأقوياء، قيل لهم إنهم في مستوى المبتدئين بسبب تعطل الميكروفون.
العبرة هنا ليست أن النموذج كان سيئًا. كل مكوّن تصرّف بشكل معقول. المشكلة أن لا مكوّن كان مسؤولًا عن السؤال: هل يوجد أصلًا ما يستحق التصحيح؟
إجراء الحماية
نضع بوابة قبل التصحيح تتحقق من أن المدخل صوت فعلي. النصوص التي نعرف أنها مجرد آثار لتفريغ خاطئ، أو أصداء للتعليمات المعطاة للنموذج، تُرفض فورًا. أي نص أقصر بوضوح من الحد الأدنى يُعتبر غير قابل للتصحيح. في الحالتين، نقول للمتعلم أن يفحص إعداداته ويعيد المحاولة. عبارة «لم نتمكن من تقييم هذا التسجيل» نتيجة أفضل بمراحل من درجة خاطئة واثقة. إذا كنت تختبر موردًا يقدم تقييمًا بالذكاء الاصطناعي، اسأله: ماذا ينتج تسجيل صمت؟ الجواب كاشف.
٢. بنك الأسئلة يحتوي أنماطًا لا يراها النموذج
دققنا في بنوك أسئلة الاختيار من متعدد، فوجدنا أن نحو ٩٧٪ من الإجابات الصحيحة تقع في موضعين من أصل أربعة. آلاف الأسئلة وُلدت ورُوجعت على مدى أشهر، ولم يكن أي سؤال تقريبًا يخفي الإجابة في الموضع الأول أو الرابع.
لم يشتكِ أي متعلم. لماذا يشتكي؟ لكن أي متعلم يعرف حيل الاختبارات ويلاحظ النمط، يستطيع رفع درجته دون فهم. وأي مدرب يلاحظه يستطيع تعليم الحيلة. البنك كان يقيس شيئًا، لكنه لم يعد يقيس الفرنسية فقط.
انحياز المواضع مثال واحد على مشكلة أوسع: بنوك الأسئلة تتراكم فيها أنماط إحصائية لم يصممها أحد. بدائل خاطئة أقصر دائمًا من الإجابة الصحيحة. أسئلة قواعد يكون فيها الخيار الأطول هو الصحيح دائمًا. الأسئلة المولّدة بالذكاء الاصطناعي تزيد الأمر سوءًا، لأن النموذج عندما يُطلب منه ألف سؤال، يعيد إنتاج العادات البنيوية نفسها ألف مرة.
إجراء الحماية
دقق البنك بوصفه بيانات، لا بوصفه نصوصًا. توزيع المواضع، وتوزيع أطوال الإجابات، وأنماط البدائل المتكررة، كلها أمور يمكن قياسها بأداة برمجية. نحن الآن نعيد خلط الخيارات لكل سؤال بطريقة مضبوطة، ونُجري التدقيق على كل دفعة جديدة من الأسئلة المولّدة قبل أن يراها المتعلمون.
٣. إجابات صحيحة لأسباب خاطئة
أسئلة فهم القراءة والاستماع فيها نمط فشل يغفل عنه المراجعون، لأنهم يقرؤونها كمعلمين لا كأشخاص مرهقين يخوضون اختبارًا. يمكن غالبًا الوصول إلى الإجابة الصحيحة بمطابقة الكلمات، دون فهم أي شيء.
إذا كان النص يقول «أُجّل الاجتماع إلى الخميس لأن المدير كان مسافرًا»، وكان الخيار الصحيح يقول «لأن المدير كان مسافرًا»، فيستطيع المتعلم أن يكسب الدرجة بمسح النص بحثًا عن العبارات المتطابقة. حين دققنا بنوكنا الخاصة بحثًا عن هذا، وجدنا أكثر من مئة سؤال يكرر الخيار الصحيح فيها نص المصدر تقريبًا بحرفيته. تلك الأسئلة كانت تختبر الصبر، لا الفهم.
إجراء الحماية
نستخدم بوابة «الاستخراج المباشر». نفحص كل سؤال فهم لنعرف كم من الإجابة الصحيحة يمكن تجميعه مباشرة من النص الأصلي. أي سؤال يتجاوز العتبة يُعاد صياغته. الخيار الصحيح يجب أن يتطلب فهم الفكرة، وأن تكون الفكرة معاد صياغتها بكلمات مختلفة. هذه حكمة قديمة في التقييم، لكنها تحتاج إلى فرض آلي فور توليد المحتوى على نطاق واسع، لأن التوليد يجعل الإجابة الحرفية هي الطريق الأقل مقاومة.
٤. أعطال البنية التحتية أكثر من أعطال النموذج
أخطاء الذكاء الاصطناعي كانت تتصدر العناوين داخل المؤسسة، لكن أكثر الأخطاء إيذاءً للمتعلمين كانت في البنية التحتية. أحد المتعلمين كانت ساعة جهازه متقدمة، وكان المؤقت يثق بها. أُرسل الامتحان تلقائيًا قبل أن يجيب عن أي شيء، وسُجّلت له نتيجة ٠ من ٣٩. نمط آخر: عندما يفشل طلب التصحيح في منتصف الامتحان، فإن ساعة من العمل المركز إما تختفي أو تُحفظ بصورة نصف مصححة.
منصات التقييم ترث كل مشاكل الموثوقية الموجودة في البرمجيات العادية، لكن بمراهنات أعلى ومساحة غفران أقل. المتعلم الذي يخسر امتحانًا تجريبيًا قبل ساعة من امتحانه الحقيقي لا يهمه أن النموذج نفسه كان دقيقًا.
إجراء الحماية
إجراءات الحماية هنا مملة وضرورية. الوقت يُفرض من الخادم، وليس من جهاز المتعلم أبدًا. المحاولة التي لا يمكن تصحيحها تُحفظ ويُعاد التصحيح، ولا تُهمل. والأعطال يجب أن تكون صاخبة: خط معالجة يسجّل صفرًا بصمت يمكن أن يظل معطلًا لأسابيع قبل أن يلاحظه أحد. تعلمنا كل واحدة من هذه من حادثة محددة مرتبطة بمتعلم محدد.
٥. تغذية راجعة دقيقة لا تغيّر شيئًا
تغذيتنا الراجعة المبكرة بالذكاء الاصطناعي كانت صحيحة وعديمة الفائدة. كانت تخبر المتعلم بمستواه، وتسرد فئات أخطائه بنثر سلس ومشجّع. يقرؤها المتعلم مرة واحدة، ثم يفعل الأشياء نفسها في اليوم التالي.
ما غيّر سلوك الممارسة حقًا هو التحديد المرتبط بالدليل. ليس «اعمل على أزمنة الأفعال»، بل اقتباس جملة المتعلم نفسها بجانب النسخة المصححة، مع القاعدة التي تفصل بينهما. وينطبق الأمر نفسه على نصائح المفردات: «نوّع في اختيار كلماتك» لم يغيّر شيئًا، بينما الإشارة إلى المواضع الثلاثة التي أضعفت فيها كلمة متكررة الحجةَ كان لها أثر واضح.
قاعدة التصميم التي استقررنا عليها: كل جزء في التغذية الراجعة يجب أن يحتوي شيئًا يمكن للمتعلم أن يختلف معه. إذا كانت التغذية الراجعة تنطبق على أي إجابة، فهي لا تعلّم شيئًا عن هذه الإجابة تحديدًا. هذا المعيار قابل للفحص عند المراجعة، وغيّر طريقة كتابة التعليمات المقدمة للنماذج أكثر من أي ترقية للنموذج. التغذية الراجعة العامة هي ما تنتجه النماذج الكبيرة افتراضيًا، وهي تبدو مصقولة بينما لا تعلّم شيئًا.
ما الذي يمكنك أن تأخذه إلى تقييماتك الخاصة
تقييم الذكاء الاصطناعي يفشل بأدب. لا ينهار شيء؛ يظهر رقم، والرقم خاطئ أو أجوف. سواء كنت تبني النظام أو تشتريه، الأسئلة التي تُظهر هذه الأعطال مبكرًا أسئلة ملموسة: ماذا ينتج الصمت؟ ما الأنماط المختبئة في بنك الأسئلة؟ هل يمكن مطابقة الإجابات مع النص المصدر؟ من يملك الوقت، العميل أم الخادم؟ ماذا يحدث للمحاولة عندما يخطئ التصحيح؟ هل تقتبس التغذية الراجعة عمل المتعلم نفسه؟
لا يتطلب أيٌّ من هذه الأسئلة خبرة في تعلّم الآلة. المطلوب هو التسليم بأن النموذج هو أقل مكونات المنظومة احتمالًا للفشل، وتصميم تدقيق دقيق لكل ما حوله.