సాంప్రదాయ మెషిన్ లెర్నింగ్ కంప్యూటర్లు సంఖ్యా గణనలలో నిష్ణాతులుగా ఉన్న ఒక నమూనాలో పనిచేస్తుంది, సంఖ్యా డేటాను ఉపయోగించి నేర్చుకుని, పరిమాణాత్మక పారామితులను పొందుతుంది.
అయితే, మానవులు సంఖ్యా విధానాల ద్వారా మాత్రమే కాకుండా భాష ద్వారా కూడా నేర్చుకోగలరు. మనం అనుభవాలను మాటలుగా వ్యవస్థీకరించి, రికార్డు చేస్తాము, ఆపై ఆ మాటలను గుర్తు చేసుకుని, చదివి, ఉపయోగిస్తాము.
పెద్ద భాషా నమూనాలు (LLMలు) కూడా అదేవిధంగా జ్ఞానాన్ని మాటలలో వివరించగలవు మరియు మాటలను చదవడం ద్వారా జ్ఞానాన్ని ఉపయోగించుకోగలవు.
LLMలను సహజ భాషా ప్రాసెసర్లుగా ఉపయోగించడం ద్వారా, కేవలం సంఖ్యా-ఆధారిత మెషిన్ లెర్నింగ్ కాకుండా, సహజ భాషా-ఆధారిత మెషిన్ లెర్నింగ్ కూడా సాధ్యమవుతుంది.
ఈ కారణంగా, LLMల ఆవిర్భావం ఒక కొత్త రంగాన్ని తెరిచింది: సహజ భాషా మెషిన్ లెర్నింగ్.
LLMల యొక్క ముందు-శిక్షణ సాంప్రదాయ సంఖ్యా మెషిన్ లెర్నింగ్ యొక్క ఒక రూపం. ఇక్కడ చర్చించబడిన సహజ భాషా మెషిన్ లెర్నింగ్ ముందు-శిక్షణ పొందిన LLMలను ఉపయోగించే ఒక కొత్త రకం మెషిన్ లెర్నింగ్ను సూచిస్తుంది.
సహజ భాషా మెషిన్ లెర్నింగ్ యొక్క ప్రాథమిక నమూనా
సహజ భాషా మెషిన్ లెర్నింగ్ సాంప్రదాయిక సంఖ్యా మెషిన్ లెర్నింగ్తో సమానమైన అంశాలను, అలాగే పూర్తిగా భిన్నమైన అంశాలను కలిగి ఉంది.
సహజ భాషా మెషిన్ లెర్నింగ్ భావనను మొదట గ్రహించడానికి, సంప్రదాయ సంఖ్యా మెషిన్ లెర్నింగ్ను పోలి ఉండే భాగాలపై దృష్టి సారించి ప్రాథమిక నమూనాను వివరిద్దాం.
ఇకపై, ముందు-శిక్షణ పొందిన పెద్ద భాషా నమూనాను LLM అని సూచిస్తాము. ఈ అభ్యాస ప్రక్రియలో LLM యొక్క పారామీటర్లు అస్సలు మారవని గమనించండి.
ప్రాథమిక నమూనా ఒక పర్యవేక్షిత అభ్యాస నమూనా, ఇది వర్గీకరణ సమస్యలను లక్ష్యంగా చేసుకుంటుంది.
అభ్యాస డేటా కోసం, ఇన్పుట్ వాక్యాలు మరియు వాటి వర్గీకరణల యొక్క బహుళ జతలు సరైన సమాధానాలుగా తయారు చేయబడతాయి.
ఉదాహరణకు, ఒక కంపెనీకి జనరల్ అఫైర్స్ డిపార్ట్మెంట్ మరియు అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ ఉన్నాయని అనుకుందాం.
ఈ రెండు విభాగాలకు విభిన్న పాత్రలు ఉన్నాయి. "ఆఫీసులోని లైట్ బల్బ్ వెలిగిపోయింది", "నా యాక్సెస్ కార్డు మర్చిపోయాను" లేదా "ప్రధాన కార్యాలయంలోని ప్రధాన హాలును బుక్ చేసుకోవాలనుకుంటున్నాను" వంటి ఇన్పుట్ వాక్యాల కోసం, వర్గీకరణ జనరల్ అఫైర్స్ లేదా అడ్మినిస్ట్రేటివ్ అఫైర్స్లో ఏ విభాగం బాధ్యత వహిస్తుందో సూచిస్తుంది.
ఈ శిక్షణా డేటా నుండి, కేవలం ఇన్పుట్ వాక్యాలు మాత్రమే సంగ్రహించబడి LLMకి అందించబడతాయి.
ఇక్కడ, మేము ఉద్దేశపూర్వకంగా ఒక సిస్టమ్ ప్రాంప్ట్ ద్వారా ప్రతిస్పందనను నియంత్రిస్తాము: "ఈ విచారణకు బాధ్యత వహించే విభాగం జనరల్ అఫైర్స్ లేదా అడ్మినిస్ట్రేటివ్ అఫైర్స్ అని దయచేసి పేర్కొనండి. మీ సమాధానంలో 'జనరల్ అఫైర్స్' లేదా 'అడ్మినిస్ట్రేటివ్ అఫైర్స్' కాకుండా ఇతర అక్షరాలను చేర్చవద్దు."
మొదట, LLM ఈ కంపెనీ గురించి జ్ఞానం లేకుండా ఒక ప్రతిస్పందనను ఉత్పత్తి చేస్తుంది. సహజంగానే, అది తప్పు కావచ్చు, లేదా అప్పుడప్పుడు అదృష్టవశాత్తు సరైనది కావచ్చు.
ప్రతి ప్రతిస్పందన కోసం, ఒక టీచింగ్ సిస్టమ్ అది సరైనదా కాదా అని నిర్ణయిస్తుంది. ఆపై, ఇన్పుట్ వాక్యం, LLM యొక్క ప్రతిస్పందన మరియు తీర్పు ఫలితం కలయిక ఒక నాలెడ్జ్ బేస్లో సేవ్ చేయబడుతుంది.
ఈ ప్రక్రియ శిక్షణా డేటాలో సగం వరకు పునరావృతమవుతుంది.
శిక్షణా డేటాలో మిగిలిన సగం కోసం, నాలెడ్జ్ బేస్లో రికార్డు చేయబడిన మొత్తం సమాచారం LLM కోసం సిస్టమ్ ప్రాంప్ట్కు జోడించబడుతుంది మరియు అదే ప్రక్రియ నిర్వహించబడుతుంది.
ఈ దశలో, నాలెడ్జ్ బేస్లో ఈ కంపెనీ యొక్క జనరల్ అఫైర్స్ మరియు అడ్మినిస్ట్రేటివ్ అఫైర్స్ విభాగాల మధ్య విధుల విభజన గురించిన సమాచారం ఉంటుంది, కాబట్టి మొదటి సగం డేటాతో పోలిస్తే సరైన సమాధానం ఇచ్చే సంభావ్యత ఎక్కువగా ఉండాలి.
ఈ విధంగా, ఒక LLM మరియు నాలెడ్జ్ బేస్ను కలిపే వ్యవస్థ ఒక కంపెనీ యొక్క జనరల్ అఫైర్స్ మరియు అడ్మినిస్ట్రేటివ్ అఫైర్స్ విభాగాల కోసం విధుల విభజనను నేర్చుకోగలదు.
అభ్యాస విధానం సాంప్రదాయ సంఖ్యా మెషిన్ లెర్నింగ్తో సమానంగా ఉంటుంది. తేడా ఏమిటంటే, అభ్యాస ఫలితాలు LLM లోపల ఉన్న న్యూరల్ నెట్వర్క్ పారామీటర్లలో కాకుండా నాలెడ్జ్ బేస్లో ప్రతిబింబిస్తాయి. ఇంకా, నాలెడ్జ్ బేస్ సంఖ్యా విలువలను కాకుండా సహజ భాషను రికార్డు చేస్తుంది.
ఇది సహజ భాషా మెషిన్ లెర్నింగ్ యొక్క ప్రాథమిక నమూనా.
ప్రాథమిక నమూనా యొక్క వాస్తవికత
LLMలను ఉపయోగించే వారికి త్వరగా అర్థమయ్యే విధంగా, ఈ ప్రాథమిక నమూనాలో వాస్తవికత లేదు.
ఎందుకంటే, ఒక టీచింగ్ సిస్టమ్ సరైన/తప్పు నిర్ణయాలను నిర్ధారించడానికి శ్రమించాల్సిన అవసరం లేదు; ప్రారంభం నుండే శిక్షణ డేటాను సిస్టమ్ ప్రాంప్ట్లో నేరుగా ఇన్పుట్ చేయవచ్చు.
అయితే, ప్రాథమిక నమూనాను వర్తింపజేసి, దృశ్యాన్ని కొద్దిగా మార్చడం ద్వారా, అది వాస్తవికతను పొందుతుంది.
ఉదాహరణకు, జనరల్ అఫైర్స్ డిపార్ట్మెంట్ మరియు అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ సంయుక్తంగా ఒక విచారణ డెస్క్ను సృష్టించాయని, మరియు మానవుడు ప్రతి ఇన్కమింగ్ విచారణను తగిన విభాగానికి మాన్యువల్గా కేటాయించాడని ఊహించుకోండి.
ఈ విచారణలు మరియు వాటి కేటాయింపు ఫలితాలను ఒక నాలెడ్జ్ బేస్కు జోడించడానికి ఒక సాధారణ వ్యవస్థ నిర్మించబడుతుంది.
అప్పుడు, ఈ నాలెడ్జ్ బేస్ను ఉపయోగించి, LLM మానవుల నుండి బాధ్యతను స్వీకరించి, కొత్త విచారణలను విభాగాలకు కేటాయించగలదు.
ఈ సందర్భంలో, LLM అడ్మినిస్ట్రేటివ్ అఫైర్స్ కోసం ఉద్దేశించిన ఒక విచారణను జనరల్ అఫైర్స్కు తప్పుగా కేటాయిస్తే, జనరల్ అఫైర్స్ సిబ్బంది విచారణను తిరిగి అడ్మినిస్ట్రేటివ్ అఫైర్స్కు తిరిగి కేటాయిస్తారు. ఈ తిరిగి కేటాయించిన సమాచారం కూడా నాలెడ్జ్ బేస్లో రికార్డు చేయబడుతుంది.
కేటాయింపు లాగ్లను రికార్డు చేయడానికి ఈ సరళమైన విధానం, LLM మరియు నాలెడ్జ్ బేస్తో కలిపి, వాస్తవిక పర్యవేక్షిత సహజ భాషా మెషిన్ లెర్నింగ్ మోడల్ను ఏర్పరుస్తుంది.
ఇక్కడ ముఖ్య అంశం, మళ్ళీ చెప్పాలంటే, LLMలోని న్యూరల్ నెట్వర్క్ పారామీటర్లు అస్సలు మారవు. అంతేకాకుండా, ఫీడ్బ్యాక్ లెర్నింగ్ ఫలితం సంఖ్యా విలువలు కాదు, సహజ భాషా వాక్యాల సముదాయం.
మరియు, సందేహం లేకుండా, ఈ వ్యవస్థ మానవ అభ్యాసం కాదు, మెషిన్ లెర్నింగ్ను కలిగి ఉంటుంది.
అందువల్ల, ఇది మెషిన్ లెర్నింగ్ యొక్క ఒక కొత్త రూపం: సహజ భాషా మెషిన్ లెర్నింగ్.
సహజ భాషా మెషిన్ లెర్నింగ్ యొక్క బలాలు
సంఖ్యా మెషిన్ లెర్నింగ్ కాకుండా, సహజ భాషా అభ్యాసం అనేక ప్రయోజనాలను అందిస్తుంది.
ఒక మాటలో చెప్పాలంటే, దాని యొక్క నిర్వచించే లక్షణం విపరీతమైన అధిక అభ్యాస సామర్థ్యం.
సంఖ్యా మెషిన్ లెర్నింగ్ సాధారణంగా పెద్ద మొత్తంలో శిక్షణ డేటా మరియు పునరావృత అభ్యాసాన్ని కోరుతుంది. అంతేకాకుండా, శిక్షణ డేటా యొక్క ముందు-ప్రాసెసింగ్ కూడా అవసరం.
పెద్ద మొత్తంలో శిక్షణ డేటా అవసరం ఎందుకంటే నేర్చుకోవలసిన లక్షణాలు ఒకే డేటాలో మాత్రమే ఉండవు, కానీ పెద్ద మొత్తంలో డేటా మధ్య పంపిణీ చేయబడతాయి.
ఈ కారణంగా, నిజంగా కోరుకునే లక్షణాల యొక్క డైమెన్షనాలిటీ యొక్క వర్గం క్రమంలో శిక్షణ డేటా అవసరం.
న్యూరల్ నెట్వర్క్ యొక్క పారామితులు స్థానిక మినిమాలో పడకుండా సముచితంగా నేర్చుకోబడతాయని నిర్ధారించుకోవడానికి పునరావృత అభ్యాసం అవసరం, ఇది ప్రతి ఫీడ్బ్యాక్తో పారామీటర్ మార్పును తక్కువగా ఉంచాలి.
నిజంగా కోరుకునే లక్షణాలను హైలైట్ చేయడానికి నార్మలైజేషన్ మరియు ఎడ్జ్ ఎక్స్ట్రాక్షన్ వంటి శిక్షణ డేటా యొక్క ముందు-ప్రాసెసింగ్ అవసరం. ఈ ముందు-ప్రాసెసింగ్ కూడా గణనీయమైన కృషిని కోరుతుంది.
ఉదాహరణకు, అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ మరియు జనరల్ అఫైర్స్ డిపార్ట్మెంట్ మధ్య విధుల విభజన సాంప్రదాయిక న్యూరల్ నెట్వర్క్ను ఉపయోగించి నేర్చుకోవలసి వస్తే, దాని లక్షణాలు 50-డైమెన్షనల్ అయితే, కనీసం సుమారు 1,000 లేదా అంతకంటే ఎక్కువ శిక్షణ డేటా నమూనాలు అవసరం. అదనంగా, ఈ 1,000+ డేటా నమూనాలను సుమారు 100 సార్లు పునరావృతంగా నేర్చుకోవడం ద్వారా సముచితమైన అభ్యాస ఖచ్చితత్వాన్ని సాధించవచ్చు.
అంతేకాకుండా, ఈ 1,000 శిక్షణ డేటా నమూనాలలో అదనపు పదాలు, స్పెల్లింగ్లో వైవిధ్యాలు లేదా వివిధ పద క్రమాలు మరియు వాక్య నిర్మాణాలను కలిగి ఉంటే, అభ్యాస సామర్థ్యం తగ్గుతుంది మరియు సంబంధం లేని లక్షణాలను నేర్చుకోవచ్చు.
కాబట్టి, అదనపు పదాలను తొలగించడానికి, వైవిధ్యాలను తొలగించడానికి పారిభాషిక పదావళిని ప్రామాణీకరించడానికి మరియు పద క్రమాన్ని మరియు వాక్య నిర్మాణాన్ని ఏకీకృతం చేయడానికి ముందు-ప్రాసెసింగ్ అనివార్యం.
దీనికి విరుద్ధంగా, సహజ భాషా మెషిన్ లెర్నింగ్కు తక్కువ శిక్షణ డేటా, అదే శిక్షణ డేటాతో పునరావృతం అవసరం లేదు, మరియు తరచుగా ముందు-ప్రాసెసింగ్ కూడా అవసరం లేదు.
అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ మరియు జనరల్ అఫైర్స్ డిపార్ట్మెంట్ మధ్య విధుల విభజన కోసం లక్షణాలు 50-డైమెన్షనల్ అయితే, ప్రతి డైమెన్షన్కు సంబంధించిన 50 సమాచార భాగాలు సరిపోతాయి.
అంతేకాకుండా, దీని అర్థం 50 వేర్వేరు వాక్యాలు అవసరం అని కాదు.
"A, B, C, మరియు Dకి సంబంధించిన విధులు అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ ద్వారా నిర్వహించబడతాయి" వంటి ఒకే వాక్యం నాలుగు డైమెన్షన్ల సమాచారాన్ని కలిగి ఉంటుంది.
అంతేకాకుండా, భాషను సంగ్రహించడం ద్వారా, బహుళ డైమెన్షన్ల నుండి సమాచారాన్ని సమగ్రపరచవచ్చు. "భవన వినియోగ వస్తువులు మరియు సౌకర్యాల నిర్వహణ అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ బాధ్యత" వంటి ఒక వాక్యం లైట్ బల్బ్ మార్పిడి మరియు ఆటోమేటిక్ డోర్ లోపాలు వంటి విస్తృత శ్రేణి డైమెన్షనల్ సమాచారాన్ని సమగ్రపరుస్తుంది.
ఈ సంగ్రహణ LLM యొక్క ముందు-శిక్షణ పొందిన జ్ఞానం మరియు తార్కిక సామర్థ్యాలను ఉపయోగించడం ద్వారా శిక్షణ డేటాను తగ్గించవచ్చు.
మరియు, ప్రాథమికంగా, సహజ భాషా అభ్యాసానికి పునరావృత అభ్యాసం అవసరం లేదు. పైన పేర్కొన్న వాక్యం నాలెడ్జ్ బేస్కు ఒకసారి జోడించబడితే, అభ్యాసం పూర్తవుతుంది.
అదనంగా, జ్ఞానం యొక్క ముందు-ప్రాసెసింగ్ అనవసరం. అడ్మినిస్ట్రేటివ్ అఫైర్స్ డిపార్ట్మెంట్ లేదా జనరల్ అఫైర్స్ డిపార్ట్మెంట్ వివరణలు వివిధ పాఠాలలో కలిపినప్పటికీ, వాటిని జ్ఞానంగా ఉపయోగించుకోవచ్చు.
లేదా, మునుపటి ఉదాహరణలో వలె, విచారణ మరియు కేటాయింపు రికార్డులు వంటి ముడి డేటాను ముందు-ప్రాసెసింగ్ లేకుండా తక్షణమే శిక్షణ డేటాగా ఉపయోగించవచ్చు.
ఈ విధంగా, సహజ భాషా మెషిన్ లెర్నింగ్ సంఖ్యా మెషిన్ లెర్నింగ్ కంటే చాలా సమర్థవంతంగా నేర్చుకోగలదు.
ముగింపు
కంప్యూటర్ల అధిక-వేగ సంఖ్యా గణన సామర్థ్యాలతో పోలిస్తే, పెద్ద భాషా నమూనాల సహజ భాషా ప్రాసెసింగ్ సామర్థ్యం చాలా నెమ్మదిగా ఉంటుంది.
అయితే, సహజ భాషా మెషిన్ లెర్నింగ్ సమర్థవంతమైన అభ్యాసాన్ని అనుమతిస్తుంది, ఇది అధిక-వేగ సంఖ్యా గణన మరియు నెమ్మది సహజ భాషా ప్రాసెసింగ్ మధ్య అంతరాన్ని చాలావరకు అధిగమిస్తుంది.
అంతేకాకుండా, సంఖ్యా అభ్యాసం ద్వారా అద్భుతమైన పురోగతి సాధించిన పెద్ద భాషా నమూనాలు, స్కేలింగ్ నియమాల ప్రకారం, సాధారణ స్కేలింగ్ అప్ ద్వారా పనితీరు మెరుగుదల పరిమితులను చేరుకుంటున్నట్లు కనిపిస్తుంది.
అటువంటి సందర్భంలో, సహజ భాషా మెషిన్ లెర్నింగ్ ద్వారా సామర్థ్యాలను పెంపొందించడంపై దృష్టి మళ్లే అవకాశం ఎక్కువగా ఉంది.