استخدام التعلم الآلي والذكاء الاصطناعي التوليدي لتحليل بيانات استبيانات تقييم الدورات
في المقال السابق عرضت نتيجة تحليل تقييمات الدورات باستخدام التعلم الآلي والذكاء الاصطناعي التوليدي والأسلوب الهجين. لم تكن البيانات حقيقية، لكنها كانت واقعية. اعتبرها محاكاة واقعية. زرعت موضوعات وفخاخًا ورؤى في مجموعة البيانات المحاكاة كي أتحقق من أساليب التحليل المختلفة. وكانت الخلاصة أن النسخة الأكثر فعالية هي الأسلوب الهجين الذي يستخدم التعلم الآلي التقليدي والذكاء الاصطناعي التوليدي معًا. وهذا المقال يتناول كيفية إجراء تجربتك الخاصة لتحليل تقييمات الدورات.
للحصول على نتيجة شبيهة بهذا الرسم البياني عند اختبار تحليلك بالذكاء الاصطناعي التوليدي أو بالأسلوب الهجين، ستحتاج إلى مجموعة بيانات اصطناعية محاكاة. العناصر الرأسية هي القصص المزروعة في البيانات المحاكاة. أما النتائج الأفقية فهي نتائج التحليل، أي الموضوعات التي حددها الذكاء الاصطناعي التوليدي. ويمكنك أن ترى أن الأسلوب الهجين الذي يستخدم التعلم الآلي والذكاء الاصطناعي التوليدي معًا أدى عملًا جيدًا في تحديد الموضوعات وتسميتها، وهي العناصر الأفقية، ثم الإشارة إلى موضعها في البيانات، أي الموضوعات الرأسية، بوصفها دليلًا.
ما الذي ستحتاجه لتنفيذ عمليتك الخاصة؟
معرفة عامة بعملية تقييم الدورات الحالية لديك، بما في ذلك أسئلة الاستبيان والإجابات المعتادة والتحديات المتعلقة بالتحليل. في تجربتي أنشأت مستندًا يحتوي على أسئلة الاستبيان وشروحها والخيارات المطلوبة. ثم أعطيت ذلك إلى كلود كأساس لمحاكاة الاستبيان. وإذا فعلت الشيء نفسه فامنح كل سؤال معرفًا قصيرًا ومميزًا حتى تتفق أنت وكلود على لغة مشتركة بدلًا من محاولة الإشارة إلى السؤال كله كل مرة. فمثلًا يمكن أن يكون للسؤال عن مدى استحقاق استثمار وقتك معرّف: قيمة الوقت.
الوصول إلى أداة ذكاء اصطناعي توليدي مثل كلود أو كوبايلوت أو جيميناي لإنشاء مجموعة البيانات المحاكاة الأولية. وإذا كان الأمر متعلقًا بالعمل فتأكد من استخدام أدوات معتمدة. وإذا كنت تريد استخدام الأسلوب الهجين الأكثر فعالية، أي التعلم الآلي والذكاء الاصطناعي التوليدي وتدخل بشري في العملية، فستحتاج إلى تثبيت بايثون على حاسوبك أو إلى الوصول إلى غوغل كولاب حيث يمكنك تشغيل بايثون. وإذا كنت تريد فقط إعادة استخدام الفكرة نفسها وبنائها بالكامل بنفسك باستخدام أداة ذكاء اصطناعي توليدي، فسأشارك أدناه أسلوبًا قائمًا على الموجهات فقط.
الأسلوب القائم على الموجهات فقط
إذا كنت تريد الفكرة نفسها، أي بيانات تقييم الدورات الاصطناعية المحاكاة لبناء تحليلك وتطويره، فابدأ بالموجه التالي باستخدام أداة الذكاء الاصطناعي التوليدي المعتمدة لديك. واستبدل النص المميز بتعليماتك الخاصة لتخصيصه لنفسك.
الموجه 1: إنشاء مجموعة البيانات
أريد اختبار مدى جودة تحليل أساليب مختلفة لاستبيانات تقييم الدورات باستخدام بيانات مختلقة أعرف فيها الإجابات الصحيحة. اعمل معي خطوة بخطوة وتوقف لطلب موافقتي بعد كل خطوة.
الخطوة 1: ابنِ مجموعة بيانات اصطناعية.
تخيل شركة خيالية تضم نحو 1000 متعلم و8 إلى 10 دورات، تشمل دورات ذاتية الإيقاع ودورات صفية ودورات افتراضية، على مدى سنة واحدة.
الملفات: الدورات، والجلسات مع المدربين والمناطق، والمتعلمون مع وحدة العمل والمستوى ومدة الخدمة والمنطقة والوردية وترتيب العمل، والتسجيلات مع الإتمام والوقت المستغرق ودرجات التقييم، وإجابات الاستبيان.
أسئلة الاستبيان: الصق أسئلتك أو ارفع مستند الاستبيان، أو استخدم: هل توصي به؛ وهل كان استثمارًا جديرًا لوقتك من 1 إلى 5؛ وما مدى جاهزيتك لتطبيقه؛ ودعم المدير؛ بالإضافة إلى ثلاثة أو أربعة أسئلة مفتوحة.
قبل الإنشاء اقترح خمس أو ست مجموعات نمطية للمتعلمين، وأربع أو خمس مشكلات خاصة بالدورات تريد زرعها، على أن تظهر كل مشكلة فقط في دورات محددة وفي التقييمات والتعليقات معًا.
أضف فخاخًا واقعية: السخرية، وتعليقات تمدح وتشتكي في الوقت نفسه، وتعليقات بلغات أخرى غير الإنجليزية، وأسماء وتفاصيل اتصال، وشكوى طويلة من شخص واحد، ومشاركات مكررة، وأشخاص يعطون كل سؤال الإجابة نفسها، والمجموعات التي تواجه أكبر المشكلات تكون أقل احتمالًا للرد.
اكتب التعليقات بصياغات متنوعة وطبيعية لا قوالب مكررة.
ضع القصة المزروعة في ملف مفتاح إجابات منفصل. ولا تستخدم مفتاح الإجابات أو تشير إليه أبدًا أثناء تحليل البيانات لاحقًا.
هذا الجزء الأول من الموجه سيبدأ العملية. وستحتاج إلى رفع أسئلة الاستبيان التي تستخدمها أو تقديمها. ويُفضّل ألا تكون أسئلتك استبيانات رضا تقليدية بمقياس ليكرت، وأن تتضمن أسئلة مفتوحة. فالبيانات التي تجمعها تحدد جودة الاستنتاجات التي يمكنك اكتشافها. وبعد إنشاء مجموعة البيانات الأولية يمكنك الانتقال إلى طلب معايير التقييم.
الموجه 2: إنشاء التقييم
الخطوة 2: اكتب قائمة تحقق للتقييم، تُمنح فيها نقاط عند العثور على كل نمط مع المجموعة والسبب الصحيحين، وعند التعامل مع كل فخ، وتُخصم نقاط عند الادعاءات غير المدعومة.
باستخدام الموجه 2 يصبح لديك مفتاح إجابات. تأكد من طلب نسخ قابلة للتنزيل من هذه المستندات حتى تحتفظ بنسخة. ثم اطلب التحليل.
الموجه 3: التحليل
الخطوة 3: حلّل البيانات بثلاث طرق، كل طريقة في محادثة أو جلسة جديدة من دون مفتاح الإجابات.
أ. الذكاء الاصطناعي وحده: تقرأ البيانات وتقدم النتائج.
ب. الإحصاء التقليدي وتحليل النصوص فقط، باستخدام الكود.
ج. الأسلوب الهجين: يحسب الكود كل رقم وكل مقارنة بين المجموعات؛ وتقرأ أنت وتصنف كل تعليق وفق قائمة موضوعات أوافق عليها؛ ولا يجوز أن تستخدم نتائجك إلا الأرقام التي أنتجها الكود، ويتحقق الكود من كل رقم واقتباس تذكره. واحذف الأسماء قبل قراءة التعليقات.
الخطوة 4: قيّم الطرق الثلاث مقابل مفتاح الإجابات، واعرض جدول مقارنة، واذكر ما أخطأت فيه كل طريقة.
طوال العمل رتّب النتائج حسب ارتباطها بتطبيق المتعلمين لما تعلموه لا حسب الرضا وحده، ووازن موضوعات التعليقات حسب عدد الأشخاص والدورات التي تطرحها لا حسب قوة صياغة تعليق واحد.
ستساعدك هذه الموجهات على البدء. وقد تحتاج إلى تعديل العملية والملفات. يستخدم الذكاء الاصطناعي التوليدي لغة بايثون في الخلفية لإجراء الحسابات، لكن إذا لم تكن بايثون مثبتة على جهازك فلن تتمكن من إعادة تشغيل الشيفرة، وسيكون اعتمادك على الذكاء الاصطناعي التوليدي.
عملية تحليل كاملة خطوة بخطوة
ماذا لو أردت تحكماً أكبر في العملية؟ إذا كانت بايثون متوفرة على جهازك أو كان لديك وصول إلى جيميناي كولاب، فستحصل على تحكم أكبر.
بناء مجموعة البيانات الاصطناعية
عملت مع كلود لإنشاء مجموعة بيانات محاكاة للتجربة، حتى أختبر طرقاً مختلفة على شيء أعرفه. أردت أن يكون هذا نشاطاً قابلاً للتكرار، ينتج القصة والفخاخ المخطط لها، ويولّد «الضوضاء» عشوائياً. لذلك طلبت من كلود بناء مجموعة من النصوص البرمجية ببايثون أستطيع تشغيلها بنفسي مراراً وتكراراً.
1. الخطوة الأولى: بناء شركة ذات قصة معروفة
تجربتي: شركة أشباه موصلات خيالية اسمها هيليكس مايكروسيستمز، لديها 1200 متعلم وعشر دورات (ذاتية التعلم، وحضورية، وافتراضية) على مدى ستة أشهر. كل ما لدى فريق حقيقي للتعلم والتطوير: سجلات الدورات والجلسات، والتسجيلات والإكمال، ودرجات التقييم، وملفات المتعلمين، و1386 استجابة استبيان (1380 بعد إزالة التكرارات). لنبدأ بالدورات. إذا أردت تحكماً أكبر، أنشئ قائمتك الخاصة على غرار هذه. يمكنك تعديل أنواع الدورات أو البرامج التي تريد إدراجها ومدتها. سيستخدم الذكاء الاصطناعي هذه المعلومات أساساً لإنشاء مجموعة البيانات المحاكاة.
2. علّم الذكاء الاصطناعي أسئلة الاستبيان
سينشئ الذكاء الاصطناعي التوليدي شخصيات مستخدمين «يقدمون» تقييمات الدورات. لكن أولاً يحتاج إلى فهم أسئلة الاستبيان المحتملة التي تستخدمها للتقييم. حمّلت مجموعة أسئلة مع شرح لسبب استخدامها، وكيف نقيّمها، ونوع الرؤية التي تنتجها. مثلاً، شرحت في المستند أن سؤال التوصية وسؤال أهمية الوقت المستغرق قد يبدوان متشابهين، لكنهما يقدمان رؤيتين مختلفتين. سؤال التوصية، مع سؤال متابعة لاقتراح نصي مفتوح، يحسب نسبة الاستجابات المرغوبة مثل «أوصي به مع تغييرات بسيطة» أو «أوصي به كما هو». نتيجة هذا السؤال تكون دائماً مرتفعة، من 90 إلى 100 في المئة. أما سؤال أهمية الوقت المستغرق فيستخدم مقياس ليكرت من 1 إلى 5 ويحسب أعلى فئتين (4 و5). وهو يعكس تجربة فردية ويتفاوت بين 60 و95 في المئة. استخدم رؤى لديك بالفعل لجعل المحاكاة أكثر واقعية. بعد أن يتعلم الذكاء الاصطناعي الأسئلة، وتكون لديه قائمة الدورات، تأتي الخطوة التالية: صياغة طلب لإنشاء الشخصيات.
3. زرع القصة الخفية
ستمثل الشخصيات مشكلات مرتبطة بالأشخاص. يمكنك البدء بقائمتي كمثال وتعديلها، أو استخدام قائمتك. اكتب قائمة بالمشكلات الشائعة واطلب من الذكاء الاصطناعي توليد المزيد استلهاماً من القطاع: فنيو الوردية الليلية الذين لا يستطيعون حضور الجلسات المباشرة؛ مديرون جدد يقيّمون دورة بدرجة عالية لكنهم لا يستطيعون تطبيقها بعد؛ خبراء يُرسلون إلى دورات للمبتدئين («لا يستحق وقتي، لكنني أوصي به للموظفين الجدد»)؛ متحمسون في بداية مسيرتهم يقيّمون أنفسهم خبراء ويحصلون على أدنى درجة في الاختبار؛ مندوبو مبيعات عن بُعد ينقرون سريعاً على دورة امتثال؛ مخططون ماليون يتدربون على أداة لا يمتلكها فريقهم بعد. استقر على قائمة الشخصيات أولاً، قبل أن تطلب من الذكاء الاصطناعي إنشاء وثيقة الشخصية الكاملة. هذا مثال على شخصية وقصتها المزروعة: المعرّف: ص1. الشخصية: فنيو وردية ليلية في المصنع. قاعدة سمات المتعلم: وحدة العمل هي التصنيع، والوردية هي الليل. القصة: الجلسات المباشرة تُعقد في التاسعة صباحاً بتوقيت المحيط الهادئ أو الرابعة عصراً بتوقيت دبلن، أي داخل نافذة نومهم. يعجبهم المحتوى لكنهم لا يستطيعون الحضور، وكثير منهم لا يتلقى الاستبيان أصلاً. يمكن للذكاء الاصطناعي التوليدي إنشاء هذه الشخصيات لك، لكن ستحتاج إلى الموافقة عليها قبل المتابعة. إضافة إلى المشكلات النابعة من الشخصيات، أضفت مشكلات خاصة بالدورة أو تقديمها: مدرب ضعيف واحد، أعطال مختبرات في منطقة واحدة، لقطات شاشة قديمة، دورة ممتعة لكنها سطحية، وسؤال سياسة حول أدوات الذكاء الاصطناعي التوليدي يظهر في سؤال استبيان واحد فقط. وأخيراً أضفت اثنتي عشرة مصيدة، وهي مشكلات شائعة أراها في البيانات الواقعية: السخرية («أحببت أن أقضي يوم الجمعة في النقر على زر التالي 87 مرة»)؛ تعليقات تمدح وتشتكي في الوقت نفسه؛ تعليقات بغير الإنجليزية؛ أسماء مدربين وبيانات اتصال؛ شكوى طويلة ومفصلة من شخص واحد؛ استجابات مكررة ومتعلمون أعطوا كل سؤال الإجابة نفسها؛ الفئات الأقل احتمالاً للإجابة على الاستبيان هي نفسها التي لديها أكبر المشكلات.
التقييم: الحفاظ على عدالة الاختبار
يسجل مفتاح الإجابات القصة. كان مغلقاً: لم تراه أي طريقة حتى ظهرت نتائجها. في الواقع، أجريت تجربة جانبية مع الذكاء الاصطناعي. اختبرت تشغيلات الذكاء الاصطناعي نفسها بثلاث طرق: بلا مفتاح إجابات إطلاقاً (لا مجال للغش)، والوصول إلى مفاتيح الإجابات مع تعليمات تمنع الغش في ظل ضغط تنافسي (أُخبر الذكاء الاصطناعي أن نتائجه ستُقارن بنماذج أخرى)، والوصول إلى مفاتيح الإجابات مع احتمال الغش (أُخبر الذكاء الاصطناعي أنني أريد منه أن يبذل قصارى جهده حتى لو اختارت نماذج أخرى الغش ضده). في تجربتي، لم يغش جيميناي. لكن هذا لا يعني أنه لن يغش. قُيّمت كل طريقة وفق بطاقة تقييم واحدة من أربعين نقطة: 22 نقطة للعثور على الأنماط الأحد عشر مع المجموعة الصحيحة والسبب الصحيح؛ و12 نقطة للتعامل مع الفخاخ؛ و6 نقاط للموثوقية: الإجابة نفسها عند تكرار التشغيل، والأعداد الدقيقة، والاقتباسات الموجودة فعلاً؛ وناقص نقطة لكل ادعاء بلا دعم. شُغّلت كل طريقة تعتمد على الذكاء الاصطناعي عدة مرات، لأن الذكاء الاصطناعي قد يعطي إجابة مختلفة للسؤال نفسه. درس مستفاد من بناء التجربة: كانت النسخة الأولى من التعليقات مرتبة أكثر من اللازم، بجمل كاملة تتكرر حرفياً. جمعت الطريقة الكلاسيكية التعليقات حسب قالب الجملة لا حسب المعنى، لذلك أُعيدت كتابة التعليقات لتنويع طريقة كتابة الناس الحقيقيين.
ما تعلمته
المتسابق الأول: التعلم الآلي الكلاسيكي وتحليلات النصوص
ما هو، بكلمات بسيطة: برمجيات تقارن المجموعات إحصائياً وترتب التعليقات حسب الكلمات التي تظهر معاً. إنها سريعة ورخيصة وتعطي الإجابة نفسها في كل مرة. لمن يهتم بالجزء التقني: تي دي-آي إف وإن إم إف.
الدرجة: 32 من 40.
ما أجادته: وجدت الأنماط الأحد عشر كلها، وغالبًا عبر مقارنة التقييمات بين مجموعات مثل الوردية ووحدة العمل والميسّر والمنطقة. كانت أرقامها دقيقة. والتقطت التكرارات والردود المتطابقة وبيانات التواصل، وأشارت إلى تعليقات إمكانية الوصول الاثني عشر عبر قائمة مراقبة للكلمات المفتاحية.
أما ما تعثرت فيه: فكانت مجموعات الكلمات فيها تطابق الموضوعات الحقيقية بشكل فضفاض، وفي أفضل الأحوال نحو ست من عشر. كما صنّفت كل تعليق ساخر على أنه إيجابي. ولم تحتفظ بنصفي التعليقات المختلطة إلا في تعليق واحد من كل خمسة.
الخلاصة: ممتازة في تحديد أي مجموعة مختلفة، وضعيفة في بيان ما يقوله الناس فعلًا.
المتسابق الثاني: الذكاء الاصطناعي التوليدي وحده.
ما هو: نموذج لغوي كبير يُعطى البيانات وتعليمات مكتوبة مفصلة، وهي نفس التعليمات في كل مرة، ويُطلب منه اكتشاف الأنماط وكتابة تقرير. استُخدم نموذجان: كلود أوبس 5.5 في ست تجارب، وجيميني 4 أراغون في ست تجارب. الدرجات: كلود من 38 إلى 39، وجيميني من 33 إلى 37.
ما أجادته: قرأ النبرة والسخرية والتعليقات المكتوبة بلغات أخرى. ووجد تقريبًا كل الأنماط. وكتب تقارير يمكن لمسؤول أن يتحرك بناءً عليها.
أما ما تعثر فيه: ففي 10 من 12 تجربة وجد أن بعض متعلمي الفئة سي07 يبالغون في تقييم أنفسهم، لكنه ربط ذلك بمجموعة خاطئة أو لم يربطه بأي مجموعة. أظهرت البيانات أن المجموعة هي مجموعة بداية المسار المهني، ولم يصنع الذكاء الاصطناعي الصلة. وكانت درجات جيميني للدورة مبنية على نسبة تتراوح بين 29 بالمئة و54 بالمئة من الردود من دون أن تذكر ذلك، وكانت تخطئ بما يصل إلى 15 نقطة. وظلت التعليقات المختلطة بين المدح والشكوى في الأغلب ضائعة. أما التكلفة: فإحدى تجارب جيميني التي كتبت شيفرتها بنفسها قرأت نحو مليوني وحدة نصية، واستهلكت رصيدًا بقيمة 20 دولارًا. وهذا غير عملي عند التوسع، مع أنني استخدمت أحدث نموذج أراغون. وفي الخصوصية: تنتقل التعليقات وبيانات المتعلمين كلها إلى النموذج. وحتى مع تعليمات بإزالة الأسماء، بما فيها اسم الميسّر، ما زالت النماذج تخطئ في ذلك.
الخلاصة: قارئ قوي، وعادّ غير موثوق، ومكلف عندما يفعل كل شيء.
الخاتمة
الطريقة الأكثر فاعلية والأقل تكلفة هي النهج الهجين: يقوم التعلم الآلي التقليدي في بايثون بالعد والمتوسطات والفرز وإزالة التكرار والتعامل مع البيانات الشخصية وما إلى ذلك، بينما يُستخدم الذكاء الاصطناعي التوليدي لتحليل النصوص المفتوحة مع تزويده بسياق ذي معنى. انتهيت إلى حل يبقي الإنسان في الحلقة: يحصل الذكاء الاصطناعي التوليدي على عينة من 400 تعليق لتوليد الموضوعات أولًا. ثم أراجعها وأعدلها. بعد ذلك يستخدم الذكاء الاصطناعي التوليدي مجموعة الموضوعات المعتمدة، وعددها 20 إلى 30 موضوعًا، ليوسم كل تعليق على حدة بدفعات.