فطری زبان مشین لرننگ

روایتی مشین لرننگ ایک ایسے نمونے کے تحت کام کرتی ہے جہاں کمپیوٹرز، جو عددی حساب کتاب میں ماہر ہوتے ہیں، عددی ڈیٹا کا استعمال کرتے ہوئے سیکھتے ہیں اور مقداری پیرامیٹرز حاصل کرتے ہیں۔

تاہم، انسان نہ صرف عددی میکانزم کے ذریعے بلکہ زبان کے ذریعے بھی سیکھنے کے قابل ہیں۔ ہم تجربات کو الفاظ میں منظم اور ریکارڈ کرتے ہیں، اور پھر ان الفاظ کو یاد کرتے ہیں، پڑھتے ہیں اور استعمال کرتے ہیں۔

بڑے لسانی ماڈلز (LLMs) بھی اسی طرح علم کو الفاظ میں بیان کر سکتے ہیں اور الفاظ کو پڑھ کر علم کو استعمال کر سکتے ہیں۔

LLMs کو فطری زبان کے پروسیسرز کے طور پر استعمال کرنے سے، صرف عددی بنیاد پر مشین لرننگ کے بجائے، فطری زبان پر مبنی مشین لرننگ ممکن ہو جاتی ہے۔

اسی وجہ سے، LLMs کی آمد نے ایک نیا شعبہ کھولا ہے: فطری زبان مشین لرننگ۔

LLMs کی پری-ٹریننگ روایتی عددی مشین لرننگ کی ایک شکل ہے۔ یہاں جس فطری زبان مشین لرننگ پر بحث کی گئی ہے وہ ایک نئی قسم کی مشین لرننگ کی طرف اشارہ کرتی ہے جو پری-ٹرین شدہ LLMs کا استعمال کرتی ہے۔

فطری زبان مشین لرننگ کا بنیادی ماڈل

فطری زبان مشین لرننگ میں کچھ پہلو روایتی عددی مشین لرننگ سے ملتے جلتے ہیں، جبکہ کچھ پہلو مکمل طور پر مختلف ہیں۔

فطری زبان مشین لرننگ کے تصور کو سمجھنے کے لیے، پہلے ایک بنیادی ماڈل بیان کرتے ہیں جو روایتی عددی مشین لرننگ سے مماثلت رکھتا ہو۔

اب سے، ایک پری ٹرین شدہ لارج لینگویج ماڈل کو LLM کہا جائے گا۔ یہ بات نوٹ کریں کہ سیکھنے کے اس عمل کے دوران LLM کے پیرامیٹرز میں کوئی تبدیلی نہیں آتی۔

بنیادی ماڈل ایک سپروائزڈ لرننگ ماڈل ہے، جو درجہ بندی کے مسائل کو ہدف بناتا ہے۔

سیکھنے کے ڈیٹا کے لیے، ان پٹ جملوں اور ان کی درجہ بندیوں کے کئی جوڑے درست جوابات کے طور پر تیار کیے جاتے ہیں۔

مثال کے طور پر، فرض کریں کہ ایک کمپنی میں جنرل افیئرز ڈیپارٹمنٹ اور ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ ہے۔

ان دونوں ڈیپارٹمنٹس کے مخصوص کردار ہوتے ہیں۔ "دفتر کا بلب خراب ہو گیا ہے،" "میں اپنا ایکسیس کارڈ بھول گیا،" یا "مجھے ہیڈکوارٹر میں مین ہال بک کرنا ہے" جیسے ان پٹ جملوں کے لیے، درجہ بندی بتاتی ہے کہ جنرل افیئرز یا ایڈمنسٹریٹو افیئرز میں سے کون سا ڈیپارٹمنٹ ذمہ دار ہے۔

اس تربیتی ڈیٹا سے، صرف ان پٹ جملے نکالے جاتے ہیں اور LLM میں فیڈ کیے جاتے ہیں۔

یہاں، ہم جان بوجھ کر سسٹم پرامپٹ کے ذریعے ردعمل کو محدود کرتے ہیں، مثلاً "براہ کرم بتائیں کہ اس استفسار کے لیے ذمہ دار ڈیپارٹمنٹ جنرل افیئرز ہے یا ایڈمنسٹریٹو افیئرز۔ اپنے جواب میں 'جنرل افیئرز' یا 'ایڈمنسٹریٹو افیئرز' کے علاوہ کوئی حرف شامل نہ کریں۔"

شروع میں، LLM اس کمپنی کے بارے میں معلومات کے بغیر ایک جواب تیار کرتا ہے۔ قدرتی طور پر، یہ غلط بھی ہو سکتا ہے، یا کبھی کبھی اتفاق سے درست بھی ہو سکتا ہے۔

ہر جواب کے لیے، ایک تدریسی نظام یہ طے کرتا ہے کہ آیا وہ درست ہے یا غلط۔ پھر، ان پٹ جملے، LLM کا جواب، اور فیصلے کے نتیجے کا مجموعہ ایک نالج بیس میں محفوظ کیا جاتا ہے۔

یہ عمل تربیتی ڈیٹا کے تقریباً آدھے حصے کے لیے دہرایا جاتا ہے۔

تربیتی ڈیٹا کے باقی آدھے حصے کے لیے، نالج بیس میں ریکارڈ کی گئی تمام معلومات کو LLM کے لیے سسٹم پرامپٹ میں شامل کیا جاتا ہے، اور وہی عمل دہرایا جاتا ہے۔

اس مقام پر، نالج بیس میں اس کمپنی کے جنرل افیئرز اور ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹس کے درمیان فرائض کی تقسیم کے بارے میں معلومات شامل ہوتی ہے، لہٰذا درست جواب کا امکان پہلے آدھے ڈیٹا کے مقابلے میں زیادہ ہونا چاہیے۔

اس طرح، LLM اور ایک نالج بیس کو یکجا کرنے والا ایک سسٹم ایک کمپنی کے جنرل افیئرز اور ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹس کے فرائض کی تقسیم کو سیکھ سکتا ہے۔

سیکھنے کا میکانزم خود روایتی عددی مشین لرننگ سے ملتا جلتا ہے۔ فرق یہ ہے کہ سیکھنے کے نتائج نالج بیس میں جھلکتے ہیں، نہ کہ LLM کے اندر نیورل نیٹ ورک کے پیرامیٹرز میں۔ مزید برآں، نالج بیس میں عددی اقدار کے بجائے فطری زبان ریکارڈ کی جاتی ہے۔

یہ فطری زبان مشین لرننگ کا بنیادی ماڈل ہے۔

بنیادی ماڈل کی حقیقت پسندی

LLM استعمال کرنے والے افراد جلد ہی یہ سمجھ جائیں گے کہ یہ بنیادی ماڈل حقیقت سے دور ہے۔

اس کی وجہ یہ ہے کہ ٹیچنگ سسٹم کے ذریعے درست/غلط فیصلوں کا تعین کرنے کی زحمت اٹھانے کی ضرورت نہیں؛ بلکہ تربیتی ڈیٹا کو شروع سے ہی سسٹم پرامپٹ میں داخل کیا جا سکتا ہے۔

تاہم، بنیادی ماڈل کو لاگو کر کے اور منظرنامے میں تھوڑی سی تبدیلی کر کے، یہ حقیقت پسندانہ ہو جاتا ہے۔

مثال کے طور پر، تصور کریں کہ جنرل افیئرز ڈیپارٹمنٹ اور ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ مشترکہ طور پر ایک انکوائری ڈیسک بناتے ہیں، اور ایک انسان دستی طور پر ہر آنے والی انکوائری کو مناسب ڈیپارٹمنٹ کو تفویض کرتا ہے۔

ان انکوائریوں اور ان کے تفویض کے نتائج کو ایک نالج بیس میں شامل کرنے کے لیے ایک سادہ نظام بنایا جاتا ہے۔

پھر، اس نالج بیس کا استعمال کرتے ہوئے، LLM انسانوں کی جگہ لے کر نئی انکوائریوں کو ڈیپارٹمنٹس کو تفویض کر سکتا ہے۔

اس صورت میں، اگر LLM غلطی سے ایڈمنسٹریٹو افیئرز کے لیے بنائی گئی انکوائری کو جنرل افیئرز کو تفویض کر دیتا ہے، تو جنرل افیئرز کا عملہ اس انکوائری کو دوبارہ ایڈمنسٹریٹو افیئرز کو تفویض کر دے گا۔ دوبارہ تفویض کی یہ معلومات بھی نالج بیس میں ریکارڈ کی جاتی ہے۔

اسائنمنٹ لاگز کو ریکارڈ کرنے کا یہ سادہ طریقہ کار، LLM اور ایک نالج بیس کے ساتھ مل کر، ایک حقیقت پسندانہ سپروائزڈ فطری زبان مشین لرننگ ماڈل بنائے گا۔

یہاں اہم نکتہ، دوبارہ دہراتے ہیں، یہ ہے کہ LLM کے اندر موجود نیورل نیٹ ورک کے پیرامیٹرز میں کوئی تبدیلی نہیں آتی۔ مزید برآں، فیڈ بیک لرننگ کا نتیجہ فطری زبان کے جملوں کا ایک مجموعہ ہوتا ہے، نہ کہ عددی اقدار۔

اور بلاشبہ، یہ نظام مشین لرننگ پر مشتمل ہے، نہ کہ انسانی لرننگ پر۔

لہذا، یہ مشین لرننگ کی ایک نئی شکل ہے: فطری زبان مشین لرننگ۔

فطری زبان مشین لرننگ کی خوبیاں

عددی مشین لرننگ کے برعکس، فطری زبان سیکھنے کے بہت سے فوائد ہیں۔

مختصراً، اس کی نمایاں خصوصیت بے پناہ سیکھنے کی اعلیٰ کارکردگی ہے۔

عددی مشین لرننگ کو عام طور پر بڑی مقدار میں تربیتی ڈیٹا اور بار بار سیکھنے کی ضرورت ہوتی ہے۔ مزید برآں، تربیتی ڈیٹا کی پری پروسیسنگ بھی ضروری ہے۔

تربیتی ڈیٹا کی بڑی مقدار کی ضرورت اس لیے پڑتی ہے کیونکہ سیکھے جانے والے فیچرز کسی ایک ڈیٹا میں شامل نہیں ہوتے بلکہ ڈیٹا کی وسیع مقدار میں پھیلے ہوتے ہیں۔

اس وجہ سے، حقیقی مطلوبہ فیچرز کی جہت کی مربع ترتیب میں تربیتی ڈیٹا درکار ہوتا ہے۔

بار بار سیکھنے کی ضرورت اس بات کو یقینی بنانے کے لیے ہے کہ نیورل نیٹ ورک کے پیرامیٹرز مقامی minima میں پھنسے بغیر مناسب طریقے سے سیکھے جائیں، جس کے لیے ہر فیڈ بیک کے ساتھ پیرامیٹر کی تبدیلی کو کم رکھنا پڑتا ہے۔

تربیتی ڈیٹا کی پری پروسیسنگ، جیسے کہ نارملائزیشن اور ایج ایکسٹریکشن، حقیقی مطلوبہ فیچرز کو نمایاں کرنے کے لیے ضروری ہے۔ اس پری پروسیسنگ میں بھی نمایاں کوشش کی ضرورت ہوتی ہے۔

مثال کے طور پر، اگر ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ اور جنرل افیئرز ڈیپارٹمنٹ کے درمیان فرائض کی تقسیم کو روایتی نیورل نیٹ ورک کا استعمال کرتے ہوئے سکھایا جائے، اور اس کی خصوصیات 50 جہتی ہوں، تو تقریباً 1,000 یا اس سے زیادہ تربیتی ڈیٹا کے انسٹینسز کی ضرورت ہوگی۔ اس کے علاوہ، مناسب سیکھنے کی درستگی حاصل کرنے کے لیے ان 1,000+ ڈیٹا انسٹینسز کو تقریباً 100 بار بار بار سیکھنا پڑ سکتا ہے۔

مزید برآں، اگر 1,000 تربیتی ڈیٹا انسٹینسز کے اس سیٹ میں غیر متعلقہ الفاظ، ہجے کی مختلف حالتیں، یا الفاظ کی ترتیب اور جملے کی ساخت کی مختلف اقسام شامل ہوں، تو سیکھنے کی کارکردگی کم ہو جاتی ہے، اور غیر متعلقہ خصوصیات سیکھی جا سکتی ہیں۔

لہذا، غیر متعلقہ الفاظ کو ہٹانے، اصطلاحات کو معیاری بنانے تاکہ اختلافات کو ختم کیا جا سکے، اور الفاظ کی ترتیب اور نحو کو یکجا کرنے کے لیے پری پروسیسنگ ناگزیر ہے۔

اس کے برعکس، فطری زبان مشین لرننگ کو کم تربیتی ڈیٹا کی ضرورت ہوتی ہے، اسی تربیتی ڈیٹا کے ساتھ کوئی تکرار نہیں ہوتی، اور اکثر پری پروسیسنگ کی ضرورت نہیں ہوتی۔

اگر ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ اور جنرل افیئرز ڈیپارٹمنٹ کے درمیان فرائض کی تقسیم کی خصوصیات 50 جہتی ہیں، تو ہر جہت سے متعلق 50 معلومات کافی ہیں۔

مزید یہ کہ، اس کا مطلب یہ نہیں ہے کہ 50 الگ الگ جملوں کی ضرورت ہے۔

"A, B, C، اور D سے متعلق فرائض ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ کے زیر انتظام ہیں" جیسا ایک جملہ چار جہتوں کی معلومات کو شامل کر سکتا ہے۔

مزید برآں، زبان کو تجرید کر کے، متعدد جہتوں سے معلومات کو یکجا کیا جا سکتا ہے۔ "عمارت کے قابل استعمال اشیاء اور سہولیات کی دیکھ بھال ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ کی ذمہ داری ہے" جیسا ایک جملہ وسیع جہتی معلومات کو یکجا کرتا ہے، بشمول بلب کی تبدیلی اور خودکار دروازے کی خرابی۔

یہ تجرید LLM کے پری ٹرین شدہ علم اور استدلال کی صلاحیتوں کا فائدہ اٹھا کر تربیتی ڈیٹا کو کم کرتی ہے۔

اور، بنیادی طور پر، فطری زبان سیکھنے کو تکراری سیکھنے کی ضرورت نہیں ہوتی۔ ایک بار جب مذکورہ بالا جملہ نالج بیس میں شامل ہو جاتا ہے، تو سیکھنے کا عمل مکمل ہو جاتا ہے۔

اس کے علاوہ، علم کی پری پروسیسنگ بھی غیر ضروری ہے۔ یہاں تک کہ اگر ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ یا جنرل افیئرز ڈیپارٹمنٹ کی وضاحتیں مختلف متون میں ملی ہوئی ہوں، تو انہیں پھر بھی علم کے طور پر استعمال کیا جا سکتا ہے۔

یا، جیسا کہ پچھلی مثال میں، خام ڈیٹا جیسے استفسار اور تفویض کے ریکارڈ کو پری پروسیسنگ کے بغیر فوری طور پر تربیتی ڈیٹا کے طور پر استعمال کیا جا سکتا ہے۔

اس طرح، فطری زبان مشین لرننگ عددی مشین لرننگ کے مقابلے میں کہیں زیادہ مؤثر طریقے سے سیکھ سکتی ہے۔

نتیجہ

کمپیوٹروں کی تیز رفتار عددی حسابی صلاحیتوں کے مقابلے میں، بڑے لسانی ماڈلز کی قدرتی زبان پروسیسنگ کی صلاحیت کافی سست ہے۔

تاہم، قدرتی زبان مشین لرننگ مؤثر سیکھنے کی اجازت دیتی ہے، جو تیز رفتار عددی حساب اور سست قدرتی زبان پروسیسنگ کے درمیان کے فرق سے کہیں زیادہ ہے۔

مزید برآں، بڑے لسانی ماڈلز، جنہوں نے عددی سیکھنے کے ذریعے حیران کن پیشرفت کی ہے، اسکیلنگ قوانین کے مطابق، سادہ اسکیلنگ اپ کے ذریعے کارکردگی میں بہتری کی حدود کے قریب پہنچتے دکھائی دیتے ہیں۔

ایسے منظرنامے میں، یہ بہت ممکن ہے کہ توجہ قدرتی زبان مشین لرننگ کے ذریعے صلاحیتوں کو بڑھانے کی طرف منتقل ہو جائے۔