التعلم الآلي باللغة الطبيعية

يعمل التعلم الآلي التقليدي ضمن نموذج تتعلم فيه أجهزة الكمبيوتر، الماهرة في الحساب العددي، من البيانات العددية وتكتسب معلمات عددية.

من ناحية أخرى، نحن قادرون على التعلم ليس فقط من خلال الآليات العددية ولكن أيضًا من خلال اللغة. ننظم الخبرات ونسجلها ككلمات، ثم نستدعي أو نقرأ تلك الكلمات لاستخدامها.

يمكن لنماذج اللغة الكبيرة بالمثل وصف المعرفة باستخدام الكلمات والاستفادة من الكلمات بقراءتها.

من خلال الاستفادة من نماذج اللغة الكبيرة، التي تُعد معالجات للغة الطبيعية، يصبح التعلم الآلي القائم على اللغة الطبيعية ممكنًا، بدلاً من مجرد التعلم الآلي القائم على الأرقام.

وبالتالي، فقد فتح ظهور نماذج اللغة الكبيرة مجالًا جديدًا: التعلم الآلي باللغة الطبيعية.

التدريب المسبق لنماذج اللغة الكبيرة هو تعلم آلي عددي تقليدي. يشير التعلم الآلي باللغة الطبيعية الموصوف هنا إلى شكل جديد من أشكال التعلم الآلي الذي يستفيد من نماذج اللغة الكبيرة المدربة مسبقًا.

النموذج الأساسي للتعلم الآلي باللغة الطبيعية

يمتلك التعلم الآلي باللغة الطبيعية جوانب تشبه التعلم الآلي العددي التقليدي، وجوانب تختلف عنه تمامًا.

أولاً، لتكوين صورة عن التعلم الآلي باللغة الطبيعية، سنشرح الأجزاء المشابهة للتعلم الآلي العددي التقليدي كنموذج أساسي.

من هذه النقطة فصاعدًا، سنشير إلى نموذج اللغة الكبير المدرب مسبقًا باسم LLM. يُرجى ملاحظة أن معلمات LLM لا تتغير على الإطلاق خلال عملية التعلم هذه.

النموذج الأساسي هو تعلم مُشرف، يستهدف مشكلة تصنيف.

يتم إعداد أزواج متعددة من الجمل المدخلة وتصنيفاتها كإجابات صحيحة لبيانات التدريب.

على سبيل المثال، لنفترض أن شركة لديها إدارة الشؤون العامة وإدارة الشؤون الإدارية.

لهذين القسمين تقسيم للواجبات. فبالنسبة للجمل المدخلة مثل "لمبة المكتب معطلة"، "نسيت بطاقة الدخول الخاصة بي"، أو "أرغب في حجز القاعة الرئيسية في المقر الرئيسي"، يشير التصنيف إلى ما إذا كانت إدارة الشؤون العامة أو إدارة الشؤون الإدارية هي المسؤولة.

من بيانات التدريب هذه، يتم استخلاص الجمل المدخلة فقط وتغذيتها إلى LLM.

هنا، كرسالة نظام، نقيد الإجابة عمدًا بالقول: "الرجاء الإجابة عن أي قسم، الشؤون العامة أو الشؤون الإدارية، مسؤول عن هذا الاستفسار. لا تدرج أي أحرف بخلاف 'الشؤون العامة' أو 'الشؤون الإدارية' في إجابتك."

في البداية، سيولد LLM إجابات دون أي معرفة بهذه الشركة. وبطبيعة الحال، ستكون بعض الإجابات غير صحيحة، بينما قد تكون إجابات أخرى صحيحة بالصدفة.

لكل إجابة، يحدد نظام المعلم ما إذا كانت صحيحة أم غير صحيحة. ثم يتم حفظ مجموعة الجملة المدخلة، وإجابة LLM، ونتيجة الحكم في قاعدة المعرفة.

تتكرر هذه العملية لحوالي نصف بيانات التدريب.

بالنسبة للنصف المتبقي من بيانات التدريب، يتم تنفيذ نفس العملية، ولكن هذه المرة يتم إضافة جميع المعلومات المسجلة في قاعدة المعرفة إلى رسالة النظام لـ LLM.

في هذه المرحلة، تحتوي قاعدة المعرفة على معلومات حول تقسيم الواجبات بين إدارتي الشؤون العامة والشؤون الإدارية في هذه الشركة، لذلك يجب أن تكون احتمالية الحصول على إجابات صحيحة أعلى مما كانت عليه في النصف الأول من البيانات.

بهذه الطريقة، يمكن لنظام يجمع بين LLM وقاعدة المعرفة أن يتعلم تقسيم الواجبات بين إدارتي الشؤون العامة والشؤون الإدارية في هذه الشركة.

آلية التعلم نفسها تشبه التعلم الآلي العددي التقليدي. الفرق هو أن نتائج التعلم تنعكس في قاعدة المعرفة، وليس في معلمات الشبكة العصبية داخل LLM. ويتم تسجيل اللغة الطبيعية، وليس الأرقام، في قاعدة المعرفة.

هذا هو النموذج الأساسي للتعلم الآلي باللغة الطبيعية.

واقع النموذج الأساسي

كما سيدرك أي شخص يستفيد من نماذج اللغة الكبيرة (LLMs) بسرعة، يفتقر هذا النموذج الأساسي إلى الواقعية.

هذا لأنه، بدلاً من تكبد عناء وجود نظام معلم لتحديد الإجابات الصحيحة وغير الصحيحة، يمكن ببساطة إدخال بيانات التدريب نفسها في موجه النظام من البداية.

ومع ذلك، من خلال تطبيق النموذج الأساسي وتغيير السيناريو قليلاً، يكتسب النموذج واقعية.

على سبيل المثال، لنفترض أن قسمي الشؤون العامة والشؤون الإدارية يقومان بإنشاء مكتب استفسارات بشكل تعاوني، ويقوم البشر بشكل فردي بفرز الاستفسارات الواردة إلى القسم المناسب.

يمكن إنشاء نظام بسيط لإضافة هذه الاستفسارات ونتائج توجيهها إلى قاعدة معرفة.

ثم، باستخدام قاعدة المعرفة هذه، يمكن لنموذج اللغة الكبير أن يحل محل البشر في توجيه الاستفسارات الجديدة إلى الأقسام.

في هذه الحالة، إذا قام نموذج اللغة الكبير بتوجيه استفسار مخصص للشؤون الإدارية إلى الشؤون العامة بشكل خاطئ، فسيقوم الشخص المسؤول في الشؤون العامة بإعادة توجيه الاستفسار مرة أخرى إلى الشؤون الإدارية. ويتم تسجيل معلومات إعادة التوجيه هذه أيضًا في قاعدة المعرفة.

هذه الآلية البسيطة لتسجيل سجلات التوجيه، جنبًا إلى جنب مع نظام نموذج اللغة الكبير وقاعدة المعرفة، ستصبح نموذجًا مُشرفًا واقعيًا للتعلم الآلي باللغة الطبيعية.

النقطة الأساسية هنا، مرة أخرى، هي أن معلمات الشبكة العصبية داخل نموذج اللغة الكبير لا تتغير على الإطلاق. ونتائج تعلم التغذية الراجعة ليست قيمًا عددية، بل هي مجموعات من جمل اللغة الطبيعية.

علاوة على ذلك، هذا النظام هو بلا شك نظام تعلم آلي، وليس نظام تعلم بشري.

لذلك، هذا شكل جديد من أشكال التعلم الآلي: التعلم الآلي من خلال اللغة الطبيعية.

نقاط قوة التعلم الآلي باللغة الطبيعية

على عكس التعلم الآلي العددي، يقدم تعلم اللغة الطبيعية العديد من المزايا.

باختصار، السمة المميزة له هي كفاءته التعليمية الهائلة.

يتطلب التعلم الآلي العددي عمومًا كمية كبيرة من بيانات التدريب والتعلم المتكرر. كما أن المعالجة المسبقة لبيانات التدريب ضرورية.

هناك حاجة إلى كمية كبيرة من بيانات التدريب لأن الميزات التي يرغب المرء في تعلمها لا تقتصر على قطعة واحدة من البيانات، بل تتوزع على حجم كبير من البيانات.

لهذا السبب، يتطلب الأمر بيانات تدريب من رتبة مربع بُعد الميزات المرغوبة حقًا.

التعلم التكراري ضروري لأن التغيير في المعلمات أثناء حلقة تغذية راجعة واحدة يجب أن يكون صغيرًا لضمان تعلم معلمات الشبكة العصبية بشكل مناسب دون الوقوع في الحد الأدنى المحلي.

المعالجة المسبقة لبيانات التدريب، مثل التسوية واستخراج الحواف، ضرورية لإبراز الميزات المرغوبة حقًا. تتطلب هذه المعالجة المسبقة أيضًا جهدًا كبيرًا.

على سبيل المثال، إذا كان تقسيم الواجبات بين قسمي الشؤون الإدارية والعامة سيتم تعلمه باستخدام شبكة عصبية تقليدية، وكانت ميزاته ذات 50 بُعدًا، فستكون هناك حاجة إلى 1000 نقطة بيانات تدريب أو أكثر على الأقل. بالإضافة إلى ذلك، قد تحتاج هذه النقاط التي تزيد عن 1000 إلى التكرار حوالي 100 مرة لتحقيق دقة تعلم كافية.

علاوة على ذلك، إذا كانت هذه النقاط البالغ عددها 1000 تحتوي على كلمات زائدة، أو اختلافات في تهجئة الكلمات، أو مجموعة متنوعة من ترتيب الكلمات والتراكيب النحوية، فستنخفض كفاءة التعلم، أو سيتم تعلم ميزات غير ذات صلة.

لذلك، فإن المعالجة المسبقة لإزالة الكلمات الزائدة، وتوحيد المفردات للقضاء على الاختلافات، وتوحيد ترتيب الكلمات والتراكيب النحوية أمر لا غنى عنه.

من ناحية أخرى، يتطلب التعلم الآلي باللغة الطبيعية بيانات تدريب أقل، ولا يتطلب التكرار مع نفس بيانات التدريب، وفي كثير من الحالات، لا يتطلب معالجة مسبقة.

إذا كانت ميزات تقسيم الواجبات بين قسمي الشؤون الإدارية والعامة ذات 50 بُعدًا، فإن 50 قطعة معلومات تتوافق مع كل بُعد غالبًا ما تكون كافية.

علاوة على ذلك، هذا لا يعني أن 50 جملة منفصلة مطلوبة.

يمكن لجملة واحدة مثل "الواجبات المتعلقة بـ A و B و C و D يتولىها القسم الإداري" أن تتضمن معلومات لأربعة أبعاد.

علاوة على ذلك، من خلال تجريد اللغة، يمكن تجميع المعلومات من أبعاد متعددة. جملة واحدة مثل "القسم الإداري مسؤول عن مواد استهلاك المباني وصيانة المعدات" تجمع معلومات من مجموعة واسعة من الأبعاد، بما في ذلك استبدال المصابيح الكهربائية وأعطال الأبواب الأوتوماتيكية.

يستفيد هذا التجريد من المعرفة المدربة مسبقًا وقدرات الاستدلال لنموذج اللغة الكبير (LLM)، مما يقلل بالتالي من كمية بيانات التدريب المطلوبة.

وبشكل أساسي، لا يتطلب تعلم اللغة الطبيعية تعلمًا تكراريًا. بمجرد إضافة الجملة المذكورة أعلاه إلى قاعدة المعرفة، يكتمل التعلم.

علاوة على ذلك، فإن المعالجة المسبقة للمعرفة ليست ضرورية. حتى لو تداخلت أوصاف الأقسام الإدارية أو العامة مع جمل أخرى متنوعة، فلا يزال من الممكن استخدامها كمعرفة.

بدلاً من ذلك، يمكن استخدام البيانات الخام، مثل سجلات الاستفسارات والمهام كما في المثال السابق، فورًا كبيانات تدريب دون معالجة مسبقة.

بهذه الطريقة، يمكن للتعلم الآلي باللغة الطبيعية أن يتعلم بكفاءة أكبر بكثير من التعلم الآلي العددي.

الخلاصة

بالمقارنة مع قدرات الحوسبة العددية عالية السرعة لأجهزة الكمبيوتر، فإن قدرات معالجة اللغة الطبيعية لنماذج اللغة الكبيرة بطيئة للغاية.

ومع ذلك، يتيح التعلم الآلي باللغة الطبيعية تعلمًا أكثر كفاءة مقارنة بالتعلم الآلي العددي.

تتجاوز هذه الكفاءة بكثير الفجوة بين قدرات الحوسبة العددية عالية السرعة وقدرات معالجة اللغة الطبيعية البطيئة.

علاوة على ذلك، يبدو أن نماذج اللغة الكبيرة، التي خضعت لتطور مذهل من خلال التعلم العددي، تقترب من حد في تحسين القدرة من خلال التوسع البسيط، وفقًا لقوانين القياس.

في هذه الحالة، من المحتمل جدًا أن يتحول التركيز إلى تحسين القدرات من خلال التعلم الآلي باللغة الطبيعية.