માઇક્રો વર્ચ્યુઅલ ઇન્ટેલિજન્સ તરીકે અટેન્શન મિકેનિઝમ

વર્તમાન જનરેટિવ AI એક AI ટેક્નોલોજી છે જે ટ્રાન્સફોર્મર્સની શોધને કારણે ખીલી ઉઠી છે, જે એક મોટી સફળતા હતી.

અટેન્શન મિકેનિઝમ એ જ છે જે ટ્રાન્સફોર્મરને એક જ વાક્યમાં દર્શાવે છે. આ ટ્રાન્સફોર્મરની જાહેરાત કરતા પેપરના શીર્ષકમાં સ્પષ્ટપણે વ્યક્ત થયેલું છે: "અટેન્શન ઇઝ ઓલ યુ નીડ."

આ એ હકીકતમાં તેના મૂળ ધરાવે છે કે તે સમયે AI સંશોધકો AI ને માનવીય કુશળતા સાથે કુદરતી ભાષાને હેન્ડલ કરવા સક્ષમ બનાવવા માટે વિવિધ પ્રયાસો અને પરીક્ષણો કરી રહ્યા હતા, અને વિવિધ સફળ પદ્ધતિઓને નામ આપીને પેપર્સ પ્રકાશિત કરી રહ્યા હતા.

ઘણા સંશોધકો માનતા હતા કે આ બહુવિધ સારી રીતે કાર્યરત મિકેનિઝમ્સને વિવિધ રીતે જોડીને, માનવીઓ જેવી કુદરતી ભાષાને હેન્ડલ કરી શકે તેવી AI ધીમે ધીમે ઉભરી આવશે. આમ તેઓ અન્ય મિકેનિઝમ્સ સાથે સંયોજનમાં કાર્ય કરી શકે તેવી નવી મિકેનિઝમ્સ શોધવા અને આ મિકેનિઝમ્સના શ્રેષ્ઠ સંયોજનો શોધવા પર કામ કરી રહ્યા હતા.

જોકે, ટ્રાન્સફોર્મરે આ પરંપરાગત શાણપણને ઉલટાવી દીધું. વિવિધ મિકેનિઝમ્સને જોડવાની જરૂર નથી, અને ફક્ત અટેન્શન મિકેનિઝમની જ જરૂર છે, તે સંદેશ પેપરના શીર્ષકમાં વ્યક્ત થયેલો છે.

અલબત્ત, ટ્રાન્સફોર્મર પોતે વિવિધ મિકેનિઝમ્સનો સમાવેશ કરે છે, પરંતુ તેમાં, અટેન્શન મિકેનિઝમ ખાસ કરીને ક્રાંતિકારી અને વિશિષ્ટ હતું તેમાં કોઈ શંકા નથી.

અટેન્શન મિકેનિઝમની ઝાંખી

અટેન્શન મિકેનિઝમ એક એવી સિસ્ટમ છે જે કુદરતી ભાષાને શબ્દ-દર-શબ્દ પ્રક્રિયા કરતી વખતે, આપેલા શબ્દની પ્રક્રિયા કરતી વખતે વાક્યમાંના ઘણા અગાઉના શબ્દોમાંથી કયા શબ્દ પર "ધ્યાન આપવું" જોઈએ તે શીખી શકે છે.

આ તેને "આ," "તે," અથવા "ઉપર્યુક્ત" (જે અગાઉના વાક્યોમાં સમાવિષ્ટ શબ્દોનો સંદર્ભ આપે છે) જેવા શબ્દો, અથવા "પ્રારંભિક વાક્ય," "સૂચિબદ્ધ બીજું ઉદાહરણ," અથવા "અગાઉનો ફકરો" (જે ટેક્સ્ટમાં સ્થાનો સૂચવે છે) જેવા શબ્દસમૂહો શું સૂચવે છે તે સચોટ રીતે સમજવાની મંજૂરી આપે છે.

વધુમાં, તે વાક્યમાં મોડિફાયર દૂર હોય ત્યારે પણ શબ્દોનું યોગ્ય રીતે અર્થઘટન કરી શકે છે, અને ટેક્સ્ટ લાંબો હોય ત્યારે પણ, તે અન્ય વાક્યો વચ્ચે વર્તમાન શબ્દના સંદર્ભને ગુમાવ્યા વિના અર્થઘટન કરી શકે છે.

આ "ધ્યાન" ની ઉપયોગિતા છે.

ઊલટું, આનો અર્થ એ પણ થાય છે કે હાલમાં પ્રક્રિયા કરાઈ રહેલા શબ્દનું અર્થઘટન કરતી વખતે, બિનજરૂરી શબ્દોને માસ્ક કરવામાં આવે છે અને અર્થઘટનમાંથી દૂર કરવામાં આવે છે.

આપેલા શબ્દના અર્થઘટન માટે ફક્ત જરૂરી શબ્દોને જ જાળવી રાખીને અને અપ્રસ્તુત શબ્દોને દૂર કરીને, અર્થઘટન કરવાના શબ્દોનો સમૂહ મર્યાદિત સંખ્યામાં રહે છે, પછી ભલે ટેક્સ્ટ કેટલો લાંબો હોય, જેનાથી અર્થઘટનની ઘનતા પાતળી થતી અટકાવવામાં આવે છે.

વર્ચ્યુઅલ ઇન્ટેલિજન્સ

હવે, વિષય થોડો બદલીને, હું વર્ચ્યુઅલ ઇન્ટેલિજન્સના ખ્યાલ વિશે વિચારી રહ્યો છું.

વર્તમાનમાં, જ્યારે વ્યવસાય માટે જનરેટિવ AI નો ઉપયોગ કરવામાં આવે છે, ત્યારે જો તમે કંપનીની અંદરની બધી જ માહિતીને એકીકૃત કરીને જનરેટિવ AI ને જ્ઞાન તરીકે પ્રદાન કરો છો, તો જ્ઞાનનો વિશાળ જથ્થો ખરેખર AI માટે તેને યોગ્ય રીતે હેન્ડલ કરવાનું મુશ્કેલ બનાવી શકે છે.

આ કારણોસર, જ્ઞાનને કાર્ય દ્વારા વિભાજીત કરવું વધુ સારું કાર્ય કરે છે, દરેક કાર્ય માટે AI ચેટ્સ તૈયાર કરવી અથવા ચોક્કસ કાર્યો માટે વિશિષ્ટ AI ટૂલ્સ બનાવવું.

આનો અર્થ એ થાય છે કે જટિલ કાર્યો માટે, આ વિભાજીત જ્ઞાન-આધારિત AI ચેટ્સ અને ટૂલ્સને જોડવા જરૂરી બને છે.

જનરેટિવ AI નો ઉપયોગ કરતી વખતે આ એક વર્તમાન મર્યાદા છે, પરંતુ ભવિષ્યના જનરેટિવ AI સાથે પણ, ચોક્કસ કાર્યો માટે, તે કાર્ય માટે જરૂરી જ્ઞાન પર જ ધ્યાન કેન્દ્રિત કરવાથી ઉચ્ચ ચોકસાઈ મળવી જોઈએ.

તેના બદલે, હું માનું છું કે ભવિષ્યનું જનરેટિવ AI પરિસ્થિતિના આધારે જરૂરી જ્ઞાન સેટ્સ વચ્ચે આંતરિક રીતે સ્વિચ કરવામાં સક્ષમ હશે, ભલે મનુષ્યોને જ્ઞાનને વિભાજીત કરવું ન પડે.

આ ક્ષમતા વર્ચ્યુઅલ ઇન્ટેલિજન્સ છે. તે એક વર્ચ્યુઅલ મશીન જેવું છે જે એક જ કમ્પ્યુટર પર બહુવિધ વિવિધ ઓપરેટિંગ સિસ્ટમ્સ ચલાવી શકે છે. તેનો અર્થ એ છે કે એક બુદ્ધિની અંદર, વિવિધ વિશેષતાઓ ધરાવતી બહુવિધ વર્ચ્યુઅલ બુદ્ધિ કાર્ય કરી શકે છે.

વર્તમાન જનરેટિવ AI પણ પહેલેથી જ બહુવિધ લોકો વચ્ચેની ચર્ચાઓનું અનુકરણ કરી શકે છે અથવા બહુવિધ પાત્રો દર્શાવતી વાર્તાઓ ઉત્પન્ન કરી શકે છે. તેથી, વર્ચ્યુઅલ ઇન્ટેલિજન્સ એ કોઈ ખાસ ક્ષમતા નથી, પરંતુ વર્તમાન જનરેટિવ AI નું વિસ્તરણ છે.

માઇક્રો વર્ચ્યુઅલ ઇન્ટેલિજન્સ

વર્ચ્યુઅલ ઇન્ટેલિજન્સની પદ્ધતિ, જે કાર્ય અનુસાર જરૂરી જ્ઞાનને સંકુચિત કરે છે, તે અટેન્શન મિકેનિઝમ જેવું જ કંઈક કરે છે.

એટલે કે, તે અટેન્શન મિકેનિઝમ જેવું જ છે જેમાં તે હાલમાં પ્રક્રિયા કરાઈ રહેલા કાર્યના આધારે ફક્ત સંબંધિત જ્ઞાન પર ધ્યાન કેન્દ્રિત કરે છે.

ઊલટું, અટેન્શન મિકેનિઝમને વર્ચ્યુઅલ ઇન્ટેલિજન્સ જેવું કંઈક સાકાર કરતી પદ્ધતિ કહી શકાય. જોકે, હું જે વર્ચ્યુઅલ ઇન્ટેલિજન્સનો વિચાર કરી રહ્યો છું તે એક એવી પદ્ધતિ છે જે જ્ઞાનના સમૂહમાંથી સંબંધિત જ્ઞાન પસંદ કરે છે, જ્યારે અટેન્શન મિકેનિઝમ શબ્દોના સમૂહ પર કાર્ય કરે છે.

આ કારણોસર, અટેન્શન મિકેનિઝમને માઇક્રો વર્ચ્યુઅલ ઇન્ટેલિજન્સ કહી શકાય.

સ્પષ્ટ અટેન્શન મિકેનિઝમ

જો આપણે અટેન્શન મિકેનિઝમને માઇક્રો વર્ચ્યુઅલ ઇન્ટેલિજન્સ તરીકે જોઈએ, તો તેનાથી વિપરીત, મેં અગાઉ ઉલ્લેખ કર્યો તે વર્ચ્યુઅલ ઇન્ટેલિજન્સ મેક્રો અટેન્શન મિકેનિઝમનું નિર્માણ કરીને સાકાર કરી શકાય છે.

અને આ મેક્રો અટેન્શન મિકેનિઝમને મોટા ભાષા મોડેલોની આંતરિક રચનામાં ઉમેરવાની અથવા ન્યુરલ નેટવર્ક તાલીમનો સમાવેશ કરવાની જરૂર નથી.

તે ફક્ત કુદરતી ભાષામાં લખાયેલ સ્પષ્ટ વાક્ય હોઈ શકે છે, જેમ કે "જ્યારે કાર્ય A કરી રહ્યા હો, ત્યારે જ્ઞાન B અને જ્ઞાન C નો સંદર્ભ લો."

આ કાર્ય A માટે જરૂરી જ્ઞાનને સ્પષ્ટ કરે છે. આ વાક્ય પોતે એક પ્રકારનું જ્ઞાન છે.

આને સ્પષ્ટ અટેન્શન મિકેનિઝમ કહી શકાય. આ વાક્યને અટેન્શન જ્ઞાન તરીકે વર્ણવી શકાય છે, જે કાર્ય A કરતી વખતે કયા જ્ઞાન પર ધ્યાન કેન્દ્રિત કરવું જોઈએ તે સ્પષ્ટપણે જણાવે છે.

વધુમાં, આ અટેન્શન જ્ઞાન જનરેટિવ AI દ્વારા ઉત્પન્ન અથવા અપડેટ કરી શકાય છે.

જો જ્ઞાનના અભાવને કારણે કોઈ કાર્ય નિષ્ફળ જાય, તો શીખેલા પાઠ તરીકે, તે કાર્ય માટે સંદર્ભિત થવું જોઈએ તે વધારાનું જ્ઞાન શામેલ કરવા માટે અટેન્શન જ્ઞાનને અપડેટ કરી શકાય છે.

નિષ્કર્ષ

અટેન્શન મિકેનિઝમે જનરેટિવ AI ની ક્ષમતાઓમાં નાટકીય રીતે સુધારો કર્યો છે.

તે ફક્ત એક પદ્ધતિ નહોતી જે સારી રીતે કાર્ય કરતી હતી; જેમ આપણે અહીં જોયું છે તેમ, દરેક પરિસ્થિતિમાં સંદર્ભિત કરવા માટેની માહિતીને ગતિશીલ રીતે સંકુચિત કરવાની પદ્ધતિ એ જ અદ્યતન બુદ્ધિનો સાર હોય તેવું લાગે છે.

અને વર્ચ્યુઅલ ઇન્ટેલિજન્સ અને સ્પષ્ટ અટેન્શન જ્ઞાનની જેમ, અટેન્શન મિકેનિઝમ પણ વિવિધ સ્તરો પર બુદ્ધિને પુનરાવર્તિત રીતે આગળ વધારવા માટે મુખ્ય છે.