التعلم الآلي باللغة الطبيعية

يعمل التعلم الآلي التقليدي ضمن نموذج تستخدم فيه أجهزة الكمبيوتر، البارعة في العمليات الحسابية الرقمية، البيانات الرقمية للتعلم واكتساب معلمات مقيسة كميًا.

ومع ذلك، فإن البشر قادرون على التعلم ليس فقط من خلال الآليات الرقمية ولكن أيضًا من خلال اللغة. فنحن ننظم الخبرات ونسجلها بالكلمات، ثم نستدعي تلك الكلمات ونقرأها ونستخدمها.

يمكن لنماذج اللغات الكبيرة (LLMs) بالمثل وصف المعرفة بالكلمات واستخدام المعرفة عن طريق قراءة الكلمات.

ومن خلال الاستفادة من نماذج اللغات الكبيرة كمعالجات للغة الطبيعية، يصبح التعلم الآلي القائم على اللغة الطبيعية ممكنًا، بدلاً من التعلم الآلي القائم على الأرقام فقط.

لهذا السبب، أدى ظهور نماذج اللغات الكبيرة إلى فتح مجال جديد: التعلم الآلي باللغة الطبيعية.

يُعد التدريب المسبق لنماذج اللغات الكبيرة شكلاً من أشكال التعلم الآلي الرقمي التقليدي. ويشير التعلم الآلي باللغة الطبيعية الذي نناقشه هنا إلى نوع جديد من التعلم الآلي يستخدم نماذج اللغات الكبيرة المدربة مسبقًا.

النموذج الأساسي للتعلم الآلي باللغة الطبيعية

يمتلك التعلم الآلي باللغة الطبيعية جوانب تشبه التعلم الآلي الرقمي التقليدي، بالإضافة إلى جوانب مختلفة تمامًا.

لفهم مفهوم التعلم الآلي باللغة الطبيعية أولاً، دعونا نصف نموذجًا أساسيًا يركز على الأجزاء التي تشبه التعلم الآلي الرقمي التقليدي.

من الآن فصاعدًا، سيُشار إلى نموذج اللغة الكبير المدرب مسبقًا باسم LLM. لاحظ أن معلمات LLM لا تتغير على الإطلاق خلال عملية التعلم هذه.

النموذج الأساسي هو نموذج تعلم موجه، يستهدف مشكلات التصنيف.

بالنسبة لبيانات التعلم، يتم إعداد أزواج متعددة من الجمل المدخلة وتصنيفاتها كإجابات صحيحة.

على سبيل المثال، لنفترض أن شركة لديها قسم الشؤون العامة وقسم الشؤون الإدارية.

يمتلك هذان القسمان أدوارًا متميزة. بالنسبة للجمل المدخلة مثل "مصباح المكتب معطل"، "نسيت بطاقة الدخول الخاصة بي"، أو "أرغب في حجز القاعة الرئيسية في المقر الرئيسي"، يشير التصنيف إلى أي قسم، الشؤون العامة أو الشؤون الإدارية، هو المسؤول.

من بيانات التدريب هذه، يتم استخلاص الجمل المدخلة فقط وتغذيتها إلى LLM.

هنا، نقوم بتقييد الاستجابة عمدًا عبر موجه نظام مثل: "يرجى تحديد ما إذا كان القسم المسؤول عن هذا الاستفسار هو الشؤون العامة أم الشؤون الإدارية. لا تضمن أي أحرف أخرى غير 'الشؤون العامة' أو 'الشؤون الإدارية' في إجابتك."

في البداية، يقوم LLM بإنشاء استجابة بدون معرفة بهذه الشركة. وبطبيعة الحال، قد تكون غير صحيحة، أو صحيحة بالصدفة أحيانًا.

لكل استجابة، يحدد نظام تعليمي ما إذا كانت صحيحة أم غير صحيحة. ثم يتم حفظ مجموعة الجملة المدخلة، واستجابة LLM، ونتيجة الحكم في قاعدة معرفية.

تتكرر هذه العملية لحوالي نصف بيانات التدريب.

بالنسبة للنصف المتبقي من بيانات التدريب، تُضاف جميع المعلومات المسجلة في قاعدة المعرفة إلى موجه النظام لـ LLM، ويتم تنفيذ نفس العملية.

في هذه المرحلة، تحتوي قاعدة المعرفة على معلومات حول تقسيم المهام بين قسمي الشؤون العامة والشؤون الإدارية في هذه الشركة، لذلك من المرجح أن تكون احتمالية الحصول على إجابة صحيحة أعلى مما كانت عليه مع النصف الأول من البيانات.

بهذه الطريقة، يمكن لنظام يجمع بين LLM وقاعدة معرفية تعلم تقسيم المهام لأقسام الشؤون العامة والشؤون الإدارية في شركة ما.

آلية التعلم نفسها تشبه التعلم الآلي الرقمي التقليدي. الفرق هو أن نتائج التعلم تنعكس في قاعدة المعرفة، وليس في معلمات الشبكة العصبية داخل LLM. علاوة على ذلك، تسجل قاعدة المعرفة اللغة الطبيعية، وليس القيم الرقمية.

هذا هو النموذج الأساسي للتعلم الآلي باللغة الطبيعية.

واقع النموذج الأساسي

كما سيدرك مستخدمو نماذج اللغات الكبيرة (LLMs) بسرعة، يفتقر هذا النموذج الأساسي إلى الواقعية.

هذا لأنه لا توجد حاجة للذهاب إلى عناء جعل نظام تدريس يحدد الأحكام الصحيحة/الخاطئة؛ يمكن للمرء ببساطة إدخال بيانات التدريب نفسها في موجه النظام منذ البداية.

ومع ذلك، من خلال تطبيق النموذج الأساسي وتغيير السيناريو قليلاً، فإنه يكتسب واقعية.

على سبيل المثال، تخيل أن قسم الشؤون العامة وقسم الشؤون الإدارية يقومان بإنشاء مكتب استعلامات مشترك، ويقوم موظف يدويًا بتعيين كل استفسار وارد إلى القسم المناسب.

يتم بناء نظام بسيط لإضافة هذه الاستفسارات ونتائج تعيينها إلى قاعدة معرفية.

ثم، باستخدام هذه القاعدة المعرفية، يمكن لنموذج اللغة الكبير أن يحل محل البشر ويعين استفسارات جديدة إلى الأقسام.

في هذه الحالة، إذا قام نموذج اللغة الكبير بتعيين استفسار مخصص للشؤون الإدارية بشكل خاطئ إلى الشؤون العامة، فسيقوم موظفو الشؤون العامة بإعادة تعيين الاستفسار مرة أخرى إلى الشؤون الإدارية. يتم أيضًا تسجيل معلومات إعادة التعيين هذه في قاعدة المعرفة.

هذه الآلية البسيطة لتسجيل سجلات التعيين، جنبًا إلى جنب مع نموذج لغة كبير وقاعدة معرفية، ستشكل نموذج تعلم آلي لغوي طبيعي موجه واقعي.

النقطة الرئيسية هنا، للتذكير، هي أن معلمات الشبكة العصبية داخل نموذج اللغة الكبير لا تتغير على الإطلاق. علاوة على ذلك، فإن نتيجة التعلم المرتدة هي مجموعة من جمل اللغة الطبيعية، وليست قيمًا رقمية.

وبدون شك، يتضمن هذا النظام تعلمًا آليًا، وليس تعلمًا بشريًا.

لذلك، هذا شكل جديد من أشكال التعلم الآلي: التعلم الآلي باللغة الطبيعية.

نقاط قوة التعلم الآلي باللغة الطبيعية

على عكس التعلم الآلي الرقمي، يقدم التعلم باللغة الطبيعية العديد من المزايا.

بكلمة واحدة، فإن السمة المميزة له هي كفاءة التعلم العالية للغاية.

يتطلب التعلم الآلي الرقمي عمومًا كمية كبيرة من بيانات التدريب والتعلم التكراري. علاوة على ذلك، فإن المعالجة المسبقة لبيانات التدريب ضرورية أيضًا.

تنشأ الحاجة إلى كمية كبيرة من بيانات التدريب لأن الميزات المراد تعلمها لا تقتصر على قطعة واحدة من البيانات بل تتوزع على كمية هائلة من البيانات.

لهذا السبب، يتطلب الأمر بيانات تدريب من رتبة مربع أبعاد الميزات المطلوبة حقًا.

التعلم التكراري ضروري لضمان تعلم معلمات الشبكة العصبية بشكل مناسب دون الوقوع في الحد الأدنى المحلي، الأمر الذي يتطلب الحفاظ على تغير المعلمات صغيرًا مع كل تغذية راجعة.

تُعد المعالجة المسبقة لبيانات التدريب، مثل التطبيع واستخلاص الحواف، ضرورية لتسليط الضوء على الميزات المطلوبة حقًا. وتتطلب هذه المعالجة المسبقة أيضًا جهدًا كبيرًا.

على سبيل المثال، إذا كان سيتم تعلم تقسيم المهام بين قسم الشؤون الإدارية وقسم الشؤون العامة باستخدام شبكة عصبية تقليدية، وكانت ميزاتها ذات 50 بُعدًا، فسيتطلب ذلك ما لا يقل عن 1000 مثال أو أكثر من بيانات التدريب. بالإضافة إلى ذلك، قد تحتاج هذه الأمثلة التي تزيد عن 1000 إلى التعلم التكراري حوالي 100 مرة لتحقيق دقة تعلم مناسبة.

علاوة على ذلك، إذا احتوت مجموعة بيانات التدريب هذه المكونة من 1000 مثال على كلمات زائدة، أو اختلافات في التهجئة، أو مجموعة متنوعة من ترتيب الكلمات وهياكل الجمل، فإن كفاءة التعلم تنخفض، وقد يتم تعلم ميزات غير ذات صلة.

لذلك، تُعد المعالجة المسبقة لإزالة الكلمات الزائدة، وتوحيد المصطلحات للقضاء على الاختلافات، وتوحيد ترتيب الكلمات والبنية النحوية، أمرًا لا غنى عنه.

في المقابل، يتطلب التعلم الآلي باللغة الطبيعية بيانات تدريب أقل، ولا يتطلب تكرارًا مع نفس بيانات التدريب، وغالبًا ما لا يتطلب معالجة مسبقة.

إذا كانت ميزات تقسيم المهام بين قسم الشؤون الإدارية وقسم الشؤون العامة ذات 50 بُعدًا، فإن 50 معلومة تتوافق مع كل بُعد تكون كافية.

علاوة على ذلك، هذا لا يعني أن 50 جملة منفصلة مطلوبة.

يمكن لجملة واحدة مثل "الواجبات المتعلقة بـ A و B و C و D يتولاها قسم الشؤون الإدارية" أن تشمل أربعة أبعاد من المعلومات.

بالإضافة إلى ذلك، من خلال تجريد اللغة، يمكن تجميع المعلومات من أبعاد متعددة. جملة مثل "صيانة مستلزمات ومرافق المباني هي مسؤولية قسم الشؤون الإدارية" تجمع نطاقًا واسعًا من المعلومات متعددة الأبعاد، بما في ذلك استبدال المصابيح الكهربائية وأعطال الأبواب الأوتوماتيكية.

يمكن القول إن هذا التجريد يقلل من بيانات التدريب من خلال الاستفادة من معرفة نموذج اللغة الكبير المدربة مسبقًا وقدرات الاستدلال لديه.

وبشكل أساسي، لا يتطلب التعلم باللغة الطبيعية تعلمًا تكراريًا. بمجرد إضافة الجملة المذكورة أعلاه إلى قاعدة المعرفة، يكتمل التعلم.

بالإضافة إلى ذلك، فإن المعالجة المسبقة للمعرفة غير ضرورية. حتى لو تداخلت تفسيرات قسم الشؤون الإدارية أو قسم الشؤون العامة ضمن نصوص مختلفة، فلا يزال بالإمكان استخدامها كمعرفة.

أو، كما في المثال السابق، يمكن استخدام البيانات الخام مثل سجلات الاستفسار والتعيين على الفور كبيانات تدريب دون معالجة مسبقة.

وبالتالي، يمكن للتعلم الآلي باللغة الطبيعية أن يتعلم بكفاءة أكبر بكثير من التعلم الآلي الرقمي.

الخلاصة

بالمقارنة مع قدرات الحوسبة الرقمية عالية السرعة لأجهزة الكمبيوتر، فإن قدرة معالجة اللغة الطبيعية لنماذج اللغات الكبيرة بطيئة للغاية.

ومع ذلك، يتيح التعلم الآلي باللغة الطبيعية تعلمًا فعالًا، متجاوزًا بكثير الفجوة بين الحوسبة الرقمية عالية السرعة ومعالجة اللغة الطبيعية البطيئة.

علاوة على ذلك، يبدو أن نماذج اللغات الكبيرة، التي حققت تقدمًا مذهلاً من خلال التعلم الرقمي، تقترب من حدود تحسين الأداء من خلال التوسع البسيط، وفقًا لقوانين القياس.

في مثل هذا السيناريو، من المرجح جدًا أن يتحول التركيز نحو تعزيز القدرات من خلال التعلم الآلي باللغة الطبيعية.