การเรียนรู้ของเครื่องภาษาธรรมชาติ

การเรียนรู้ของเครื่องแบบดั้งเดิมดำเนินการภายใต้กระบวนทัศน์ที่คอมพิวเตอร์ ซึ่งมีความเชี่ยวชาญในการคำนวณเชิงตัวเลข จะเรียนรู้โดยใช้ข้อมูลเชิงตัวเลขและได้รับพารามิเตอร์ที่วัดปริมาณได้

อย่างไรก็ตาม มนุษย์มีความสามารถในการเรียนรู้ไม่เพียงแต่ผ่านกลไกเชิงตัวเลขเท่านั้น แต่ยังผ่านภาษาด้วย เราจัดระเบียบและบันทึกประสบการณ์เป็นคำพูด จากนั้นจึงเรียกคืน อ่าน และใช้คำเหล่านั้น

แบบจำลองภาษาขนาดใหญ่ (LLMs) สามารถอธิบายความรู้เป็นคำพูดและใช้ความรู้โดยการอ่านคำพูดได้ในทำนองเดียวกัน

ด้วยการใช้ประโยชน์จาก LLMs ในฐานะหน่วยประมวลผลภาษาธรรมชาติ การเรียนรู้ของเครื่องที่ใช้ภาษาธรรมชาติจึงเป็นไปได้ แทนที่จะเป็นการเรียนรู้ของเครื่องที่ใช้ตัวเลขเพียงอย่างเดียว

ด้วยเหตุนี้ การมาถึงของ LLMs จึงได้เปิดสาขาใหม่ นั่นคือ การเรียนรู้ของเครื่องภาษาธรรมชาติ

การฝึกอบรมล่วงหน้าของ LLMs เป็นรูปแบบหนึ่งของการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม การเรียนรู้ของเครื่องภาษาธรรมชาติที่กล่าวถึงในที่นี้หมายถึงการเรียนรู้ของเครื่องประเภทใหม่ที่ใช้ LLMs ที่ได้รับการฝึกอบรมล่วงหน้า

แบบจำลองพื้นฐานของการเรียนรู้ของเครื่องภาษาธรรมชาติ

การเรียนรู้ของเครื่องภาษาธรรมชาติมีทั้งส่วนที่คล้ายกับการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม และส่วนที่แตกต่างกันโดยสิ้นเชิง

เพื่อทำความเข้าใจแนวคิดของการเรียนรู้ของเครื่องภาษาธรรมชาติในเบื้องต้น เราจะอธิบายแบบจำลองพื้นฐานโดยเน้นส่วนที่คล้ายกับการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม

ต่อจากนี้ไป แบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกอบรมล่วงหน้าจะถูกเรียกว่า LLM โปรดทราบว่าพารามิเตอร์ของ LLM จะไม่เปลี่ยนแปลงเลยในระหว่างกระบวนการเรียนรู้นี้

แบบจำลองพื้นฐานนี้เป็นแบบจำลองการเรียนรู้แบบมีผู้สอน โดยมุ่งเน้นไปที่ปัญหาการจัดหมวดหมู่

สำหรับข้อมูลการเรียนรู้ จะมีการเตรียมคู่ของประโยคอินพุตและการจัดหมวดหมู่เป็นคำตอบที่ถูกต้องหลายคู่

ตัวอย่างเช่น สมมติว่าบริษัทแห่งหนึ่งมีฝ่ายธุรการ (General Affairs Department) และฝ่ายบริการทั่วไป (Administrative Affairs Department)

ทั้งสองฝ่ายนี้มีบทบาทที่แตกต่างกัน สำหรับประโยคอินพุต เช่น "หลอดไฟในสำนักงานเสีย" "ฉันลืมบัตรผ่านเข้าออก" หรือ "ฉันต้องการจองห้องโถงใหญ่ที่สำนักงานใหญ่" การจัดหมวดหมู่จะระบุว่าฝ่ายใดรับผิดชอบ ไม่ว่าจะเป็นฝ่ายธุรการหรือฝ่ายบริการทั่วไป

จากข้อมูลการฝึกอบรมนี้ เฉพาะประโยคอินพุตเท่านั้นที่จะถูกดึงออกมาและป้อนเข้าสู่ LLM

ในที่นี้ เราจงใจจำกัดการตอบสนองผ่านข้อความแจ้งระบบ เช่น "โปรดระบุว่าแผนกที่รับผิดชอบสำหรับคำถามนี้คือฝ่ายธุรการหรือฝ่ายบริการทั่วไป ห้ามมีอักขระอื่นใดนอกจาก 'ฝ่ายธุรการ' หรือ 'ฝ่ายบริการทั่วไป' ในคำตอบของคุณ"

ในเบื้องต้น LLM จะสร้างการตอบสนองโดยไม่มีความรู้เกี่ยวกับบริษัทนี้ โดยธรรมชาติแล้ว มันอาจไม่ถูกต้อง หรือบางครั้งก็ถูกต้องโดยบังเอิญ

สำหรับแต่ละการตอบสนอง ระบบการสอนจะกำหนดว่าถูกต้องหรือไม่ถูกต้อง จากนั้น การรวมกันของประโยคอินพุต การตอบสนองของ LLM และผลการตัดสินจะถูกบันทึกไว้ในแหล่งเก็บความรู้

กระบวนการนี้จะถูกทำซ้ำประมาณครึ่งหนึ่งของข้อมูลการฝึกอบรม

สำหรับข้อมูลการฝึกอบรมที่เหลืออีกครึ่งหนึ่ง ข้อมูลทั้งหมดที่บันทึกไว้ในแหล่งเก็บความรู้จะถูกเพิ่มลงในข้อความแจ้งระบบสำหรับ LLM และกระบวนการเดียวกันนี้จะถูกดำเนินการ

ในตอนนี้ แหล่งเก็บความรู้ประกอบด้วยข้อมูลเกี่ยวกับการแบ่งหน้าที่ระหว่างฝ่ายธุรการและฝ่ายบริการทั่วไปของบริษัทนี้ ดังนั้น ความน่าจะเป็นที่จะได้คำตอบที่ถูกต้องควรสูงกว่าครึ่งแรกของข้อมูล

ด้วยวิธีนี้ ระบบที่รวม LLM และแหล่งเก็บความรู้เข้าด้วยกันสามารถเรียนรู้การแบ่งหน้าที่สำหรับฝ่ายธุรการและฝ่ายบริการทั่วไปของบริษัทได้

กลไกการเรียนรู้เองก็คล้ายกับการเรียนรู้ของเครื่องเชิงตัวเลขแบบดั้งเดิม ความแตกต่างคือผลลัพธ์การเรียนรู้จะสะท้อนอยู่ในแหล่งเก็บความรู้ ไม่ใช่ในพารามิเตอร์ของโครงข่ายประสาทเทียมภายใน LLM นอกจากนี้ แหล่งเก็บความรู้ยังบันทึกภาษาธรรมชาติ ไม่ใช่ค่าเชิงตัวเลข

นี่คือแบบจำลองพื้นฐานของการเรียนรู้ของเครื่องภาษาธรรมชาติ

ความเป็นจริงของแบบจำลองพื้นฐาน

ดังที่ผู้ที่ใช้ LLM จะตระหนักได้อย่างรวดเร็วว่า แบบจำลองพื้นฐานนี้ขาดความเป็นจริง

นั่นเป็นเพราะไม่จำเป็นต้องเสียเวลาให้ระบบการสอนมาตัดสินว่าถูกหรือผิด เราสามารถป้อนข้อมูลการฝึกอบรมทั้งหมดเข้าไปใน System Prompt ได้ตั้งแต่แรก

อย่างไรก็ตาม หากนำแบบจำลองพื้นฐานมาประยุกต์และปรับเปลี่ยนสถานการณ์เล็กน้อย ก็จะมีความเป็นจริงมากขึ้น

ตัวอย่างเช่น ลองนึกภาพว่าฝ่ายธุรการและฝ่ายบริการทั่วไปร่วมกันจัดตั้งโต๊ะสอบถาม และมนุษย์เป็นผู้กำหนดคำถามแต่ละรายการที่เข้ามาไปยังแผนกที่เหมาะสมด้วยตนเอง

มีการสร้างระบบง่ายๆ เพื่อเพิ่มคำถามและผลการมอบหมายเหล่านี้ลงในแหล่งเก็บความรู้

จากนั้น โดยใช้แหล่งเก็บความรู้นี้ LLM สามารถเข้ามาทำหน้าที่แทนมนุษย์และมอบหมายคำถามใหม่ๆ ไปยังแผนกต่างๆ ได้

ในกรณีนี้ หาก LLM มอบหมายคำถามที่ควรเป็นของฝ่ายบริการทั่วไปให้ฝ่ายธุรการอย่างผิดพลาด พนักงานฝ่ายธุรการก็จะมอบหมายคำถามนั้นกลับไปยังฝ่ายบริการทั่วไป ข้อมูลการมอบหมายใหม่นี้จะถูกบันทึกไว้ในแหล่งเก็บความรู้ด้วย

กลไกง่ายๆ สำหรับการบันทึกบันทึกการมอบหมายนี้ เมื่อรวมกับ LLM และแหล่งเก็บความรู้ จะกลายเป็นแบบจำลองการเรียนรู้ของเครื่องภาษาธรรมชาติแบบมีผู้สอนที่สมจริง

ประเด็นสำคัญในที่นี้ ขอย้ำอีกครั้ง คือ พารามิเตอร์ของโครงข่ายประสาทเทียมภายใน LLM ไม่ได้เปลี่ยนแปลงเลย นอกจากนี้ ผลลัพธ์การเรียนรู้จากข้อเสนอแนะคือชุดของประโยคภาษาธรรมชาติ ไม่ใช่ค่าตัวเลข

และไม่ต้องสงสัยเลยว่า ระบบนี้เกี่ยวข้องกับการเรียนรู้ของเครื่อง ไม่ใช่การเรียนรู้ของมนุษย์

ดังนั้น นี่คือรูปแบบใหม่ของการเรียนรู้ของเครื่อง นั่นคือ การเรียนรู้ของเครื่องภาษาธรรมชาติ

จุดแข็งของการเรียนรู้ของเครื่องภาษาธรรมชาติ

แตกต่างจากการเรียนรู้ของเครื่องเชิงตัวเลข การเรียนรู้ภาษาธรรมชาติมีข้อดีหลายประการ

กล่าวโดยย่อ ลักษณะเฉพาะที่โดดเด่นคือประสิทธิภาพการเรียนรู้ที่สูงอย่างท่วมท้น

การเรียนรู้ของเครื่องเชิงตัวเลขโดยทั่วไปต้องใช้ข้อมูลการฝึกอบรมจำนวนมากและการเรียนรู้แบบวนซ้ำ นอกจากนี้ การประมวลผลล่วงหน้าของข้อมูลการฝึกอบรมก็จำเป็นเช่นกัน

ข้อมูลการฝึกอบรมจำนวนมากเป็นสิ่งจำเป็น เนื่องจากคุณลักษณะที่จะเรียนรู้ไม่ได้มีอยู่ในข้อมูลชิ้นเดียว แต่กระจายอยู่ท่ามกลางข้อมูลจำนวนมหาศาล

ด้วยเหตุนี้ จึงต้องใช้ข้อมูลการฝึกอบรมในระดับกำลังสองของมิติข้อมูลของคุณลักษณะที่ต้องการอย่างแท้จริง

การเรียนรู้แบบวนซ้ำเป็นสิ่งจำเป็นเพื่อให้แน่ใจว่าพารามิเตอร์ของโครงข่ายประสาทเทียมได้รับการเรียนรู้ที่เหมาะสมโดยไม่ตกอยู่ในหลุมดำในพื้นที่ ซึ่งต้องอาศัยการเปลี่ยนแปลงพารามิเตอร์เพียงเล็กน้อยในแต่ละครั้งของการป้อนกลับ

การประมวลผลล่วงหน้าของข้อมูลการฝึกอบรม เช่น การทำให้เป็นปกติและการแยกขอบ เป็นสิ่งจำเป็นเพื่อเน้นคุณลักษณะที่ต้องการอย่างแท้จริง การประมวลผลล่วงหน้านี้ยังต้องใช้ความพยายามอย่างมาก

ตัวอย่างเช่น หากการแบ่งหน้าที่ระหว่างฝ่ายบริการทั่วไปและฝ่ายธุรการจะถูกเรียนรู้โดยใช้โครงข่ายประสาทเทียมแบบดั้งเดิม และคุณลักษณะของมันมี 50 มิติ จะต้องใช้ข้อมูลการฝึกอบรมอย่างน้อยประมาณ 1,000 ชุดขึ้นไป นอกจากนี้ ข้อมูลเหล่านี้อาจต้องถูกเรียนรู้แบบวนซ้ำประมาณ 100 ครั้งเพื่อให้ได้ความแม่นยำในการเรียนรู้ที่เหมาะสม

นอกจากนี้ หากชุดข้อมูลการฝึกอบรม 1,000 ชุดนี้มีคำที่ไม่เกี่ยวข้อง การสะกดคำที่แตกต่างกัน หรือรูปแบบการจัดเรียงคำและโครงสร้างประโยคที่หลากหลาย ประสิทธิภาพการเรียนรู้จะลดลง และอาจเรียนรู้คุณลักษณะที่ไม่เกี่ยวข้องได้

ดังนั้น การประมวลผลล่วงหน้าเพื่อลบคำที่ไม่เกี่ยวข้อง การทำให้คำศัพท์เป็นมาตรฐานเพื่อขจัดความแตกต่าง และการรวมลำดับคำและไวยากรณ์เข้าด้วยกันจึงเป็นสิ่งจำเป็นอย่างยิ่ง

ในทางตรงกันข้าม การเรียนรู้ของเครื่องภาษาธรรมชาติใช้ข้อมูลการฝึกอบรมน้อยกว่า ไม่จำเป็นต้องวนซ้ำด้วยข้อมูลการฝึกอบรมชุดเดิม และมักไม่จำเป็นต้องมีการประมวลผลล่วงหน้า

หากคุณลักษณะสำหรับการแบ่งหน้าที่ระหว่างฝ่ายบริการทั่วไปและฝ่ายธุรการมี 50 มิติ ข้อมูล 50 ชิ้นที่สอดคล้องกับแต่ละมิติก็เพียงพอแล้ว

ยิ่งไปกว่านั้น นี่ไม่ได้หมายความว่าต้องใช้ประโยคแยกกัน 50 ประโยค

ประโยคเดียว เช่น "หน้าที่ที่เกี่ยวข้องกับ A, B, C และ D อยู่ในความรับผิดชอบของฝ่ายบริการทั่วไป" สามารถครอบคลุมข้อมูลสี่มิติได้

นอกจากนี้ ด้วยการสรุปภาษา ข้อมูลจากหลายมิติสามารถนำมารวมกันได้ ประโยคเช่น "การบำรุงรักษาวัสดุสิ้นเปลืองและสิ่งอำนวยความสะดวกของอาคารเป็นความรับผิดชอบของฝ่ายบริการทั่วไป" รวบรวมข้อมูลมิติที่หลากหลาย รวมถึงการเปลี่ยนหลอดไฟและการทำงานผิดปกติของประตูอัตโนมัติ

การสรุปนี้สามารถกล่าวได้ว่าช่วยลดข้อมูลการฝึกอบรมโดยใช้ประโยชน์จากความรู้และความสามารถในการให้เหตุผลที่ LLM ได้รับการฝึกอบรมล่วงหน้า

และโดยพื้นฐานแล้ว การเรียนรู้ภาษาธรรมชาติไม่จำเป็นต้องมีการเรียนรู้แบบวนซ้ำ เมื่อประโยคที่กล่าวถึงข้างต้นถูกเพิ่มลงในแหล่งเก็บความรู้ การเรียนรู้ก็เสร็จสมบูรณ์

นอกจากนี้ การประมวลผลล่วงหน้าของความรู้ก็ไม่จำเป็น แม้ว่าคำอธิบายของฝ่ายบริการทั่วไปหรือฝ่ายธุรการจะปะปนอยู่ในข้อความต่างๆ ก็ยังสามารถนำมาใช้เป็นความรู้ได้

หรือเช่นเดียวกับตัวอย่างก่อนหน้านี้ ข้อมูลดิบ เช่น บันทึกการสอบถามและการมอบหมายงาน สามารถนำมาใช้เป็นข้อมูลการฝึกอบรมได้ทันทีโดยไม่ต้องมีการประมวลผลล่วงหน้า

ดังนั้น การเรียนรู้ของเครื่องภาษาธรรมชาติจึงสามารถเรียนรู้ได้อย่างมีประสิทธิภาพมากกว่าการเรียนรู้ของเครื่องเชิงตัวเลขมาก

บทสรุป

เมื่อเทียบกับความสามารถในการคำนวณเชิงตัวเลขความเร็วสูงของคอมพิวเตอร์แล้ว ความสามารถในการประมวลผลภาษาธรรมชาติของแบบจำลองภาษาขนาดใหญ่ค่อนข้างช้า

อย่างไรก็ตาม การเรียนรู้ของเครื่องภาษาธรรมชาติช่วยให้การเรียนรู้มีประสิทธิภาพสูง ซึ่งเหนือกว่าช่องว่างระหว่างการคำนวณเชิงตัวเลขความเร็วสูงและการประมวลผลภาษาธรรมชาติที่ช้ามาก

นอกจากนี้ แบบจำลองภาษาขนาดใหญ่ ซึ่งมีความก้าวหน้าอย่างน่าทึ่งผ่านการเรียนรู้เชิงตัวเลข ดูเหมือนจะเข้าใกล้ขีดจำกัดของการปรับปรุงประสิทธิภาพด้วยการขยายขนาดแบบง่ายๆ ตามกฎการปรับขนาด

ในสถานการณ์เช่นนี้ มีความเป็นไปได้สูงที่การมุ่งเน้นจะเปลี่ยนไปสู่การเพิ่มขีดความสามารถผ่านการเรียนรู้ของเครื่องภาษาธรรมชาติ