قدرتی زبان کی مشین لرننگ

روایتی مشین لرننگ ایک ایسے نمونے پر کام کرتی ہے جہاں کمپیوٹر، جو عددی حساب کتاب میں ماہر ہوتے ہیں، عددی ڈیٹا سے سیکھتے ہیں اور عددی پیرامیٹرز حاصل کرتے ہیں۔

دوسری طرف، ہم نہ صرف عددی میکانزم کے ذریعے بلکہ زبان کے ذریعے بھی سیکھنے کے قابل ہیں۔ ہم تجربات کو الفاظ کی شکل میں ترتیب دیتے اور ریکارڈ کرتے ہیں، پھر ان الفاظ کو یاد کرتے یا پڑھتے ہیں تاکہ انہیں استعمال کر سکیں۔

بڑے لسانی ماڈلز اسی طرح الفاظ کا استعمال کرتے ہوئے علم کو بیان کر سکتے ہیں اور الفاظ کو پڑھ کر ان کا استعمال کر سکتے ہیں۔

بڑے لسانی ماڈلز، جو کہ قدرتی زبان کے پروسیسرز ہیں، کا فائدہ اٹھا کر، صرف عددی بنیادوں پر مشین لرننگ کے بجائے، قدرتی زبان پر مبنی مشین لرننگ بھی ممکن ہو جاتی ہے۔

نتیجتاً، بڑے لسانی ماڈلز کی آمد نے ایک نیا میدان کھول دیا ہے: قدرتی زبان کی مشین لرننگ۔

بڑے لسانی ماڈلز کی پری-ٹریننگ روایتی عددی مشین لرننگ ہے۔ یہاں بیان کردہ قدرتی زبان کی مشین لرننگ ایک نئی قسم کی مشین لرننگ کو ظاہر کرتی ہے جو پری-ٹرینڈ بڑے لسانی ماڈلز کا استعمال کرتی ہے۔

قدرتی زبان کی مشین لرننگ کا بنیادی ماڈل

قدرتی زبان کی مشین لرننگ میں ایسے پہلو موجود ہیں جو روایتی عددی مشین لرننگ سے ملتے جلتے بھی ہیں اور بالکل مختلف بھی۔

سب سے پہلے، قدرتی زبان کی مشین لرننگ کا ایک تصور سمجھنے کے لیے، ہم ان حصوں کی وضاحت کریں گے جو روایتی عددی مشین لرننگ سے مشابہت رکھتے ہیں، اسے بنیادی ماڈل کے طور پر۔

اس مقام سے آگے، ہم ایک پہلے سے تربیت یافتہ بڑے لسانی ماڈل کو LLM کہیں گے۔ براہ کرم نوٹ کریں کہ اس سیکھنے کے عمل کے دوران LLM کے پیرامیٹرز میں بالکل کوئی تبدیلی نہیں آتی۔

بنیادی ماڈل ایک سپروائزڈ لرننگ ہے، جس کا ہدف ایک درجہ بندی کا مسئلہ ہے۔

ٹریننگ ڈیٹا کے لیے درست جوابات کے طور پر ان پٹ جملوں اور ان کی درجہ بندیوں کے متعدد جوڑے تیار کیے جاتے ہیں۔

مثال کے طور پر، فرض کریں کہ ایک کمپنی میں جنرل افیئرز ڈیپارٹمنٹ اور ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ ہیں۔

ان دونوں محکموں کے درمیان فرائض کی تقسیم ہے۔ "دفتر کا بلب خراب ہو گیا ہے،" "میں اپنا ایکسیس کارڈ بھول گیا ہوں،" یا "میں ہیڈکوارٹرز میں مرکزی ہال ریزرو کرنا چاہتا ہوں،" جیسے ان پٹ جملوں کے لیے، درجہ بندی یہ ظاہر کرتی ہے کہ جنرل افیئرز ڈیپارٹمنٹ یا ایڈمنسٹریٹو افیئرز ڈیپارٹمنٹ میں سے کون ذمہ دار ہے۔

اس ٹریننگ ڈیٹا سے، صرف ان پٹ جملے نکال کر LLM میں ڈالے جاتے ہیں۔

یہاں، ایک سسٹم پرامپٹ کے طور پر، ہم جان بوجھ کر جواب کو محدود کرتے ہوئے کہتے ہیں، "براہ کرم بتائیں کہ اس استفسار کا ذمہ دار کون سا محکمہ ہے، جنرل افیئرز یا ایڈمنسٹریٹو افیئرز۔ اپنے جواب میں 'جنرل افیئرز' یا 'ایڈمنسٹریٹو افیئرز' کے علاوہ کوئی حرف شامل نہ کریں۔"

ابتدائی طور پر، LLM اس کمپنی کے کسی علم کے بغیر جوابات تیار کرے گا۔ قدرتی طور پر، کچھ جوابات غلط ہوں گے، جبکہ کچھ اتفاقاً درست بھی ہو سکتے ہیں۔

ہر جواب کے لیے، استاد کا نظام یہ طے کرتا ہے کہ آیا وہ درست ہے یا غلط۔ پھر، ان پٹ جملے، LLM کے جواب، اور فیصلے کے نتیجے کا مجموعہ ایک نالج بیس میں محفوظ کر لیا جاتا ہے۔

یہ عمل ٹریننگ ڈیٹا کے تقریباً نصف کے لیے دہرایا جاتا ہے۔

ٹریننگ ڈیٹا کے باقی نصف کے لیے، یہی عمل کیا جاتا ہے، لیکن اس بار نالج بیس میں ریکارڈ کی گئی تمام معلومات کو LLM کے لیے سسٹم پرامپٹ میں شامل کیا جاتا ہے۔

اس مقام پر، نالج بیس میں اس کمپنی کے جنرل افیئرز اور ایڈمنسٹریٹو افیئرز کے محکموں کے درمیان فرائض کی تقسیم کے بارے میں معلومات شامل ہوتی ہے، لہذا درست جوابات حاصل کرنے کا امکان ڈیٹا کے پہلے نصف کے مقابلے میں زیادہ ہونا چاہیے۔

اس طرح، LLM اور نالج بیس کو یکجا کرنے والا ایک نظام اس کمپنی کے جنرل افیئرز اور ایڈمنسٹریٹو افیئرز کے محکموں کے درمیان فرائض کی تقسیم کو سیکھ سکتا ہے۔

سیکھنے کا طریقہ کار بذات خود روایتی عددی مشین لرننگ جیسا ہی ہے۔ فرق یہ ہے کہ سیکھنے کے نتائج نالج بیس میں ظاہر ہوتے ہیں، نہ کہ LLM کے اندر موجود نیورل نیٹ ورک کے پیرامیٹرز میں۔ اور نالج بیس میں اعداد نہیں بلکہ قدرتی زبان ریکارڈ کی جاتی ہے۔

یہ قدرتی زبان کی مشین لرننگ کا بنیادی ماڈل ہے۔

بنیادی ماڈل کی حقیقت

جیسا کہ LLMs کو استعمال کرنے والا کوئی بھی شخص فوراً محسوس کر لے گا، اس بنیادی ماڈل میں حقیقت پسندی کی کمی ہے۔

اس کی وجہ یہ ہے کہ استاد کے نظام کو صحیح اور غلط جوابات کا تعین کرنے کی زحمت اٹھانے کے بجائے، کوئی بھی شروع سے ہی ٹریننگ ڈیٹا کو براہ راست سسٹم پرامپٹ میں داخل کر سکتا ہے۔

تاہم، بنیادی ماڈل کو لاگو کرنے اور منظر نامے کو تھوڑا سا تبدیل کرنے سے، اس میں حقیقت پسندی آ جاتی ہے۔

مثال کے طور پر، فرض کریں کہ جنرل افیئرز اور ایڈمنسٹریٹو افیئرز کے محکموں نے مشترکہ طور پر ایک انکوائری ڈیسک قائم کیا ہے، اور انسان انفرادی طور پر آنے والی انکوائریز کو مناسب محکمے میں چھانٹتے ہیں۔

ان انکوائریز اور ان کے روٹنگ نتائج کو نالج بیس میں شامل کرنے کے لیے ایک سادہ نظام بنایا جا سکتا ہے۔

پھر، اس نالج بیس کا استعمال کرتے ہوئے، LLM نئے انکوائریز کو محکموں میں روٹ کرنے میں انسانوں کی جگہ لے سکتا ہے۔

اس صورت میں، اگر LLM غلطی سے ایڈمنسٹریٹو افیئرز کے لیے بھیجی گئی ایک انکوائری کو جنرل افیئرز کو روٹ کر دیتا ہے، تو جنرل افیئرز کا انچارج شخص اس انکوائری کو دوبارہ ایڈمنسٹریٹو افیئرز کو روٹ کرے گا۔ یہ دوبارہ روٹنگ کی معلومات بھی نالج بیس میں ریکارڈ کی جاتی ہے۔

روٹنگ لاگز کو ریکارڈ کرنے کا یہ سادہ طریقہ کار، جو LLM اور نالج بیس سسٹم کے ساتھ مل کر کام کرتا ہے، قدرتی زبان کی مشین لرننگ کے لیے ایک حقیقت پسندانہ سپروائزڈ ماڈل بن جائے گا۔

یہاں اہم بات، ایک بار پھر، یہ ہے کہ LLM کے اندر نیورل نیٹ ورک کے پیرامیٹرز میں بالکل کوئی تبدیلی نہیں آتی۔ اور فیڈ بیک لرننگ کے نتائج عددی قدریں نہیں ہیں، بلکہ قدرتی زبان کے جملوں کا مجموعہ ہیں۔

مزید برآں، یہ نظام بلا شبہ ایک مشین لرننگ ہے، نہ کہ انسانی لرننگ، نظام۔

لہذا، یہ مشین لرننگ کی ایک نئی شکل ہے: قدرتی زبان کے ذریعے مشین لرننگ۔

قدرتی زبان کی مشین لرننگ کی خوبیاں

عددی مشین لرننگ کے برعکس، قدرتی زبان کی لرننگ کے بہت سے فوائد ہیں۔

ایک لفظ میں، اس کی امتیازی خصوصیت اس کی بے پناہ سیکھنے کی کارکردگی ہے۔

عددی مشین لرننگ کو عام طور پر بڑی مقدار میں تربیت کے ڈیٹا اور بار بار سیکھنے کی ضرورت ہوتی ہے۔ تربیت کے ڈیٹا کی پری پروسیسنگ بھی ضروری ہے۔

بڑی مقدار میں تربیتی ڈیٹا کی ضرورت اس لیے پڑتی ہے کہ جو خصوصیات سیکھنا مقصود ہوتی ہیں وہ ایک ہی ڈیٹا کے ٹکڑے میں نہیں ہوتیں، بلکہ بڑی مقدار کے ڈیٹا میں پھیلی ہوتی ہیں۔

اسی وجہ سے، مطلوبہ خصوصیات کی ڈائمینشن کے مربع کے درجے کا تربیتی ڈیٹا درکار ہوتا ہے۔

بار بار سیکھنے کی ضرورت اس لیے پڑتی ہے کہ ایک ہی فیڈ بیک لوپ کے دوران پیرامیٹرز میں تبدیلی چھوٹی ہونی چاہیے تاکہ یہ یقینی بنایا جا سکے کہ نیورل نیٹ ورک کے پیرامیٹرز مقامی اوپٹما میں گرے بغیر مناسب طریقے سے سیکھے گئے ہیں۔

تربیتی ڈیٹا کی پری پروسیسنگ، جیسے کہ نارملائزیشن اور ایج ایکسٹریکشن، مطلوبہ خصوصیات کو نمایاں کرنے کے لیے ضروری ہے۔ اس پری پروسیسنگ کے لیے بھی کافی کوشش کی ضرورت ہوتی ہے۔

مثال کے طور پر، اگر انتظامی اور جنرل افیئرز کے محکموں کے درمیان فرائض کی تقسیم کو روایتی نیورل نیٹ ورک کا استعمال کرتے ہوئے سیکھنا ہوتا، اور اس کی خصوصیات 50-ڈائمینشنل ہوتیں، تو کم از کم 1000 یا اس سے زیادہ تربیتی ڈیٹا پوائنٹس کی ضرورت ہوتی۔ اس کے علاوہ، ان 1000+ ڈیٹا پوائنٹس کو تقریباً 100 بار دہرانا پڑ سکتا ہے تاکہ مناسب سیکھنے کی درستگی حاصل کی جا سکے۔

مزید برآں، اگر ان 1000 ڈیٹا پوائنٹس میں اضافی الفاظ، الفاظ کے ہجے میں مختلف حالتیں، یا مختلف قسم کے الفاظ کی ترتیب اور نحو شامل ہوں، تو سیکھنے کی کارکردگی کم ہو جائے گی، یا غیر متعلقہ خصوصیات سیکھی جائیں گی۔

لہذا، اضافی الفاظ کو ہٹانے، الفاظ کی مختلف حالتوں کو ختم کرنے کے لیے ذخیرہ الفاظ کو معیاری بنانے، اور الفاظ کی ترتیب اور نحو کو یکجا کرنے کے لیے پری پروسیسنگ ناگزیر ہے۔

دوسری طرف، قدرتی زبان کی مشین لرننگ کو کم تربیتی ڈیٹا کی ضرورت ہوتی ہے، اسی تربیتی ڈیٹا کے ساتھ بار بار دہرانے کی ضرورت نہیں ہوتی، اور بہت سے معاملات میں، پری پروسیسنگ کی ضرورت نہیں ہوتی۔

اگر انتظامی اور جنرل افیئرز کے محکموں کے درمیان فرائض کی تقسیم کی خصوصیات 50-ڈائمینشنل ہیں، تو ہر ڈائمینشن کے مطابق 50 معلومات کے ٹکڑے اکثر کافی ہوتے ہیں۔

مزید برآں، اس کا مطلب یہ نہیں کہ 50 الگ الگ جملوں کی ضرورت ہے۔

ایک ہی جملہ جیسے "A، B، C، اور D سے متعلق فرائض انتظامی شعبہ سنبھالتا ہے" میں چار ڈائمینشنز کے لیے معلومات شامل ہو سکتی ہیں۔

مزید برآں، زبان کو تجرید کر کے، متعدد ڈائمینشنز کی معلومات کو اکٹھا کیا جا سکتا ہے۔ ایک ہی جملہ جیسے "انتظامی شعبہ عمارت کی ضروریات اور سامان کی دیکھ بھال کا ذمہ دار ہے" میں بلب کی تبدیلی اور خودکار دروازے کی خرابی سمیت وسیع پیمانے پر ڈائمینشنز کی معلومات کو یکجا کیا جاتا ہے۔

یہ تجرید LLM کے پہلے سے تربیت یافتہ علم اور استدلال کی صلاحیتوں کا فائدہ اٹھاتی ہے، جس سے مطلوبہ تربیتی ڈیٹا کی مقدار کم ہو جاتی ہے۔

اور، بنیادی طور پر، قدرتی زبان کی لرننگ کو بار بار سیکھنے کی ضرورت نہیں ہوتی۔ ایک بار جب مذکورہ جملہ نالج بیس میں شامل ہو جاتا ہے، تو سیکھنا مکمل ہو جاتا ہے۔

مزید برآں، علم کی پری پروسیسنگ کی ضرورت نہیں ہے۔ یہاں تک کہ اگر انتظامی یا جنرل افیئرز کے محکموں کی تفصیلات مختلف دیگر جملوں کے ساتھ ملی ہوئی ہوں، تو بھی انہیں علم کے طور پر استعمال کیا جا سکتا ہے۔

متبادل کے طور پر، خام ڈیٹا، جیسے کہ سابقہ ​​مثال میں انکوائریز اور اسائنمنٹس کے لاگز، بغیر پری پروسیسنگ کے فوری طور پر تربیتی ڈیٹا کے طور پر استعمال کیے جا سکتے ہیں۔

اس طرح، قدرتی زبان کی مشین لرننگ عددی مشین لرننگ سے کہیں زیادہ مؤثر طریقے سے سیکھ سکتی ہے۔

نتیجہ

کمپیوٹرز کی تیز رفتار عددی حساب کتاب کی صلاحیتوں کے مقابلے میں، بڑے لسانی ماڈلز کی قدرتی زبان پروسیسنگ کی صلاحیتیں کافی سست ہیں۔

تاہم، قدرتی زبان کی مشین لرننگ، عددی مشین لرننگ کے مقابلے میں، زیادہ موثر سیکھنے کی اجازت دیتی ہے۔

یہ کارکردگی تیز رفتار عددی حساب کتاب کی صلاحیتوں اور سست قدرتی زبان پروسیسنگ کی صلاحیتوں کے درمیان موجود فرق سے کہیں زیادہ ہے۔

مزید برآں، بڑے لسانی ماڈلز، جنہوں نے عددی سیکھنے کے ذریعے حیران کن ارتقاء حاصل کیا ہے، سکیلنگ قوانین کے مطابق، محض پیمانہ بڑھانے کے ذریعے صلاحیت میں بہتری کی حد کے قریب پہنچتے دکھائی دیتے ہیں۔

اس صورت میں، یہ انتہائی قابل فہم ہے کہ توجہ قدرتی زبان کی مشین لرننگ کے ذریعے صلاحیتوں کو بہتر بنانے کی طرف منتقل ہو جائے گی۔