การเรียนรู้ของเครื่องภาษาธรรมชาติ

การเรียนรู้ของเครื่องแบบดั้งเดิมดำเนินการภายใต้กระบวนทัศน์ที่คอมพิวเตอร์ ซึ่งเชี่ยวชาญในการคำนวณเชิงตัวเลข เรียนรู้จากข้อมูลเชิงตัวเลขและได้รับพารามิเตอร์เชิงตัวเลข

ในทางกลับกัน เราสามารถเรียนรู้ได้ไม่เพียงแค่ผ่านกลไกเชิงตัวเลขเท่านั้น แต่ยังเรียนรู้ผ่านภาษาได้ด้วย เราจัดระเบียบและบันทึกประสบการณ์เป็นคำพูด จากนั้นเรียกคืนหรืออ่านคำพูดเหล่านั้นเพื่อนำไปใช้ประโยชน์

แบบจำลองภาษาขนาดใหญ่ก็สามารถอธิบายความรู้โดยใช้คำพูดและนำคำพูดไปใช้ประโยชน์โดยการอ่านได้เช่นกัน

ด้วยการใช้แบบจำลองภาษาขนาดใหญ่ ซึ่งเป็นตัวประมวลผลภาษาธรรมชาติ ทำให้การเรียนรู้ของเครื่องที่อิงภาษาธรรมชาติเป็นไปได้ แทนที่จะเป็นการเรียนรู้ของเครื่องที่อิงตัวเลขเพียงอย่างเดียว

ดังนั้น การกำเนิดของแบบจำลองภาษาขนาดใหญ่จึงเปิดสาขาใหม่: การเรียนรู้ของเครื่องภาษาธรรมชาติ

การฝึกอบรมล่วงหน้าของแบบจำลองภาษาขนาดใหญ่เป็นการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม การเรียนรู้ของเครื่องภาษาธรรมชาติที่อธิบายไว้ในที่นี้หมายถึงรูปแบบใหม่ของการเรียนรู้ของเครื่องที่ใช้ประโยชน์จากแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกอบรมล่วงหน้าแล้ว

แบบจำลองพื้นฐานของการเรียนรู้ของเครื่องภาษาธรรมชาติ

การเรียนรู้ของเครื่องภาษาธรรมชาติมีทั้งส่วนที่คล้ายคลึงและส่วนที่แตกต่างอย่างสิ้นเชิงกับการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม

อันดับแรก เพื่อให้เข้าใจภาพรวมของการเรียนรู้ของเครื่องภาษาธรรมชาติ เราจะอธิบายส่วนที่คล้ายคลึงกับการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิมเป็นแบบจำลองพื้นฐาน

จากนี้ไป เราจะเรียกแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกอบรมล่วงหน้าว่า LLM โปรดทราบว่าพารามิเตอร์ของ LLM จะไม่เปลี่ยนแปลงเลยในระหว่างกระบวนการเรียนรู้นี้

แบบจำลองพื้นฐานคือการเรียนรู้แบบมีผู้สอน โดยมีเป้าหมายที่ปัญหาการจัดหมวดหมู่

มีการเตรียมคู่ของประโยคอินพุตและการจัดหมวดหมู่หลายชุดเป็นคำตอบที่ถูกต้องสำหรับข้อมูลการฝึกอบรม

ตัวอย่างเช่น สมมติว่าบริษัทแห่งหนึ่งมีแผนกธุรการและแผนกบริหาร

สองแผนกนี้มีการแบ่งงานกัน สำหรับประโยคอินพุตเช่น "หลอดไฟสำนักงานเสีย", "ฉันลืมบัตรเข้าออก", หรือ "ฉันต้องการจองห้องโถงใหญ่ที่สำนักงานใหญ่" การจัดหมวดหมู่จะระบุว่าแผนกธุรการหรือแผนกบริหารเป็นผู้รับผิดชอบ

จากข้อมูลการฝึกอบรมนี้ เฉพาะประโยคอินพุตเท่านั้นที่จะถูกดึงออกมาและป้อนเข้าสู่ LLM

ในที่นี้ เราจงใจจำกัดคำตอบโดยระบุในข้อความแจ้งระบบว่า "โปรดตอบว่าแผนกใด แผนกธุรการหรือแผนกบริหาร ที่รับผิดชอบคำถามนี้ ห้ามใส่ตัวอักษรอื่นใดนอกจาก 'แผนกธุรการ' หรือ 'แผนกบริหาร' ในคำตอบของคุณ"

ในเบื้องต้น LLM จะสร้างคำตอบโดยไม่มีความรู้เกี่ยวกับบริษัทนี้ โดยธรรมชาติแล้ว คำตอบบางส่วนจะผิด ในขณะที่บางส่วนอาจถูกต้องโดยบังเอิญ

สำหรับแต่ละคำตอบ ระบบครูจะกำหนดว่าถูกต้องหรือไม่ถูกต้อง จากนั้น การรวมกันของประโยคอินพุต คำตอบของ LLM และผลการตัดสินจะถูกบันทึกไว้ในฐานความรู้

กระบวนการนี้จะทำซ้ำสำหรับข้อมูลการฝึกอบรมประมาณครึ่งหนึ่ง

สำหรับข้อมูลการฝึกอบรมที่เหลืออีกครึ่งหนึ่ง จะดำเนินกระบวนการเดียวกัน แต่คราวนี้ข้อมูลทั้งหมดที่บันทึกไว้ในฐานความรู้จะถูกเพิ่มลงในข้อความแจ้งระบบสำหรับ LLM

ณ จุดนี้ ฐานความรู้จะประกอบด้วยข้อมูลเกี่ยวกับการแบ่งหน้าที่ระหว่างแผนกธุรการและแผนกบริหารของบริษัทนี้ ดังนั้นความน่าจะเป็นที่จะได้คำตอบที่ถูกต้องจึงควรสูงกว่าข้อมูลครึ่งแรก

ด้วยวิธีนี้ ระบบที่รวม LLM และฐานความรู้เข้าด้วยกันสามารถเรียนรู้การแบ่งหน้าที่ระหว่างแผนกธุรการและแผนกบริหารของบริษัทนี้ได้

กลไกการเรียนรู้เองก็คล้ายกับการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม ความแตกต่างคือผลลัพธ์การเรียนรู้จะสะท้อนอยู่ในฐานความรู้ ไม่ใช่ในพารามิเตอร์ของโครงข่ายประสาทเทียมภายใน LLM และภาษาธรรมชาติ ไม่ใช่ตัวเลข จะถูกบันทึกในฐานความรู้

นี่คือแบบจำลองพื้นฐานของการเรียนรู้ของเครื่องภาษาธรรมชาติ

ความเป็นจริงของแบบจำลองพื้นฐาน

ดังที่ผู้ที่ใช้ LLM จะตระหนักได้อย่างรวดเร็วว่า แบบจำลองพื้นฐานนี้ขาดความสมจริง

นี่เป็นเพราะ แทนที่จะเสียเวลาให้ระบบครูกำหนดคำตอบที่ถูกและผิด เราก็สามารถป้อนข้อมูลการฝึกอบรมเองเข้าสู่พรอมต์ของระบบตั้งแต่เริ่มต้นได้เลย

อย่างไรก็ตาม การประยุกต์ใช้แบบจำลองพื้นฐานและปรับเปลี่ยนสถานการณ์เล็กน้อย จะทำให้มันมีความสมจริงมากขึ้น

ตัวอย่างเช่น สมมติว่าแผนกธุรการและแผนกบริหารร่วมกันจัดตั้งโต๊ะสอบถาม และมนุษย์แต่ละคนจะคัดแยกคำถามที่เข้ามาไปยังแผนกที่เหมาะสม

สามารถสร้างระบบง่ายๆ เพื่อเพิ่มคำถามเหล่านี้และผลการจัดเส้นทางของคำถามเหล่านั้นไปยังฐานความรู้ได้

จากนั้น การใช้ฐานความรู้นี้ LLM สามารถรับช่วงต่อจากมนุษย์ในการจัดเส้นทางคำถามใหม่ไปยังแผนกต่างๆ ได้

ในกรณีนี้ หาก LLM จัดเส้นทางคำถามที่ควรเป็นของฝ่ายบริหารไปยังฝ่ายธุรการอย่างผิดพลาด ผู้รับผิดชอบที่ฝ่ายธุรการจะจัดเส้นทางคำถามนั้นกลับไปยังฝ่ายบริหาร ข้อมูลการจัดเส้นทางใหม่นี้จะถูกบันทึกในฐานความรู้ด้วย

กลไกง่ายๆ ในการบันทึกบันทึกการจัดเส้นทางนี้ เมื่อรวมกับระบบ LLM และฐานความรู้ จะกลายเป็นแบบจำลองที่มีผู้ดูแลที่สมจริงสำหรับการเรียนรู้ของเครื่องภาษาธรรมชาติ

ประเด็นสำคัญในที่นี้คือ ย้ำอีกครั้งว่า พารามิเตอร์โครงข่ายประสาทเทียมภายใน LLM ไม่เปลี่ยนแปลงเลย และผลลัพธ์การเรียนรู้แบบตอบกลับไม่ใช่ค่าตัวเลข แต่เป็นการรวบรวมประโยคภาษาธรรมชาติ

ยิ่งไปกว่านั้น ระบบนี้เป็นระบบการเรียนรู้ของเครื่องอย่างชัดเจน ไม่ใช่ระบบการเรียนรู้ของมนุษย์

ดังนั้น นี่คือรูปแบบใหม่ของการเรียนรู้ของเครื่อง: การเรียนรู้ของเครื่องผ่านภาษาธรรมชาติ

จุดแข็งของการเรียนรู้ของเครื่องภาษาธรรมชาติ

แตกต่างจากการเรียนรู้ของเครื่องเชิงตัวเลข การเรียนรู้ภาษาธรรมชาติมีข้อดีหลายประการ

กล่าวโดยสรุปคือ ลักษณะเด่นของมันคือประสิทธิภาพในการเรียนรู้ที่เหนือกว่าอย่างมาก

การเรียนรู้ของเครื่องเชิงตัวเลขโดยทั่วไปแล้วต้องใช้ข้อมูลการฝึกอบรมจำนวนมากและการเรียนรู้แบบวนซ้ำ นอกจากนี้ยังจำเป็นต้องมีการประมวลผลข้อมูลการฝึกอบรมล่วงหน้า

ข้อมูลการฝึกอบรมจำนวนมากเป็นสิ่งจำเป็น เนื่องจากคุณสมบัติที่ต้องการเรียนรู้ไม่ได้มีอยู่ในข้อมูลเพียงชิ้นเดียว แต่กระจายอยู่ในข้อมูลปริมาณมาก

ด้วยเหตุผลนี้ จึงจำเป็นต้องมีข้อมูลการฝึกอบรมในระดับที่เท่ากับกำลังสองของมิติของฟีเจอร์ที่ต้องการอย่างแท้จริง

การเรียนรู้แบบวนซ้ำเป็นสิ่งจำเป็นเพราะการเปลี่ยนแปลงของพารามิเตอร์ในระหว่างการวนซ้ำการตอบรับเพียงครั้งเดียวจะต้องมีขนาดเล็ก เพื่อให้แน่ใจว่าพารามิเตอร์ของโครงข่ายประสาทเทียมได้รับการเรียนรู้ที่เหมาะสมโดยไม่ตกอยู่ในภาวะที่เหมาะสมในระดับท้องถิ่น

การประมวลผลข้อมูลการฝึกอบรมล่วงหน้า เช่น การทำให้เป็นมาตรฐานและการแยกขอบ เป็นสิ่งจำเป็นเพื่อเน้นคุณสมบัติที่ต้องการอย่างแท้จริง การประมวลผลล่วงหน้านี้ยังต้องใช้ความพยายามอย่างมาก

ตัวอย่างเช่น หากการแบ่งหน้าที่ระหว่างแผนกบริหารและแผนกธุรการจะถูกเรียนรู้โดยใช้โครงข่ายประสาทเทียมแบบดั้งเดิม และคุณสมบัติของมันมี 50 มิติ จะต้องใช้ข้อมูลการฝึกอบรมอย่างน้อย 1,000 จุดขึ้นไป นอกจากนี้ ข้อมูล 1,000 จุดนี้อาจต้องวนซ้ำประมาณ 100 ครั้งเพื่อให้ได้ความแม่นยำในการเรียนรู้ที่เพียงพอ

นอกจากนี้ หากข้อมูล 1,000 จุดเหล่านี้มีคำที่ไม่เกี่ยวข้อง การสะกดคำที่แตกต่างกัน หรือลำดับคำและไวยากรณ์ที่หลากหลาย ประสิทธิภาพการเรียนรู้จะลดลง หรือจะเรียนรู้คุณสมบัติที่ไม่เกี่ยวข้อง

ดังนั้น การประมวลผลล่วงหน้าเพื่อลบคำที่ไม่เกี่ยวข้อง ทำให้คำศัพท์เป็นมาตรฐานเพื่อขจัดความแตกต่าง และรวมลำดับคำและไวยากรณ์จึงเป็นสิ่งจำเป็น

ในทางกลับกัน การเรียนรู้ของเครื่องภาษาธรรมชาติใช้ข้อมูลการฝึกอบรมน้อยกว่า ไม่ต้องมีการวนซ้ำกับข้อมูลการฝึกอบรมเดียวกัน และในหลายกรณี ไม่ต้องมีการประมวลผลล่วงหน้า

หากคุณสมบัติของการแบ่งหน้าที่ระหว่างแผนกบริหารและแผนกธุรการมี 50 มิติ ข้อมูล 50 ชิ้นที่สอดคล้องกับแต่ละมิติก็มักจะเพียงพอแล้ว

ยิ่งไปกว่านั้น นี่ไม่ได้หมายความว่าต้องใช้ 50 ประโยคแยกกัน

ประโยคเดียวเช่น "หน้าที่ที่เกี่ยวข้องกับ A, B, C และ D ถูกจัดการโดยแผนกบริหาร" สามารถรวมข้อมูลสำหรับสี่มิติได้

นอกจากนี้ การใช้ภาษาเชิงนามธรรมยังสามารถรวมข้อมูลจากหลายมิติได้ ประโยคเดียวเช่น "แผนกบริหารรับผิดชอบวัสดุสิ้นเปลืองอาคารและการบำรุงรักษาอุปกรณ์" จะรวบรวมข้อมูลจากหลากหลายมิติ รวมถึงการเปลี่ยนหลอดไฟและการทำงานผิดปกติของประตูอัตโนมัติ

การใช้ภาษาเชิงนามธรรมนี้ใช้ประโยชน์จากความรู้และความสามารถในการให้เหตุผลที่ LLM ได้รับการฝึกอบรมล่วงหน้า ซึ่งช่วยลดปริมาณข้อมูลการฝึกอบรมที่จำเป็น

และโดยพื้นฐานแล้ว การเรียนรู้ภาษาธรรมชาติไม่จำเป็นต้องมีการเรียนรู้แบบวนซ้ำ เมื่อประโยคดังกล่าวถูกเพิ่มเข้าไปในฐานความรู้ การเรียนรู้ก็เสร็จสมบูรณ์

นอกจากนี้ การประมวลผลความรู้ล่วงหน้าก็ไม่จำเป็น แม้ว่าคำอธิบายของแผนกบริหารหรือแผนกธุรการจะปะปนกับประโยคอื่นๆ มากมาย ก็ยังสามารถใช้เป็นความรู้ได้

หรือข้อมูลดิบ เช่น บันทึกการสอบถามและการมอบหมายงานดังตัวอย่างก่อนหน้านี้ สามารถนำมาใช้เป็นข้อมูลการฝึกอบรมได้ทันทีโดยไม่ต้องผ่านการประมวลผลล่วงหน้า

ด้วยวิธีนี้ การเรียนรู้ของเครื่องภาษาธรรมชาติจึงสามารถเรียนรู้ได้อย่างมีประสิทธิภาพมากกว่าการเรียนรู้ของเครื่องเชิงตัวเลขอย่างมาก

บทสรุป

เมื่อเทียบกับความสามารถในการคำนวณเชิงตัวเลขความเร็วสูงของคอมพิวเตอร์แล้ว ความสามารถในการประมวลผลภาษาธรรมชาติของแบบจำลองภาษาขนาดใหญ่ค่อนข้างช้า

อย่างไรก็ตาม การเรียนรู้ของเครื่องภาษาธรรมชาติช่วยให้การเรียนรู้มีประสิทธิภาพมากกว่าเมื่อเทียบกับการเรียนรู้ของเครื่องเชิงตัวเลข

ประสิทธิภาพนี้มีน้ำหนักมากกว่าช่องว่างระหว่างความสามารถในการคำนวณเชิงตัวเลขความเร็วสูงและความสามารถในการประมวลผลภาษาธรรมชาติที่ช้าอย่างมาก

นอกจากนี้ แบบจำลองภาษาขนาดใหญ่ซึ่งได้ผ่านการพัฒนาที่น่าทึ่งผ่านการเรียนรู้เชิงตัวเลข ดูเหมือนจะเข้าใกล้ขีดจำกัดของการพัฒนาความสามารถด้วยการเพิ่มขนาดอย่างง่ายดาย ตามกฎการปรับขนาด

ในกรณีเช่นนี้ เป็นไปได้อย่างมากที่จุดสนใจจะเปลี่ยนไปสู่การพัฒนาความสามารถผ่านการเรียนรู้ของเครื่องภาษาธรรมชาติ